Google käivitab AI-toega videoredaktori Dreamix videote loomiseks ja redigeerimiseks ning piltide animeerimiseks

Kuigi OpenAI ChatGPT imeb 24-tunnisest uudistetsüklist kogu hapniku välja, avalikustas Google vaikselt uut tehisintellekti mudelit, mis suudab video-, pildi- ja tekstisisestuse korral videoid genereerida. Uus Google Dreamixi AI videoredaktor toob nüüd loodud video tegelikkusele lähemale.

GitHubis avaldatud uuringu kohaselt redigeerib Dreamix videot video ja tekstiviipa alusel. Saadud video säilitab oma värvitruuduse, kehaasendi, objekti suuruse ja kaamera poseerimise, mille tulemuseks on ajaliselt ühtlane video. Hetkel ei saa Dreamix luua videoid pelgalt viipast, küll aga võib ta võtta olemasoleva materjali ja muuta videot tekstiviipade abil.

Google kasutab Dreamixi jaoks video difusioonimudeleid – lähenemisviisi, mida on edukalt rakendatud enamiku videopiltide redigeerimise puhul, mida näeme pildi AI-des, nagu DALL-E2 või avatud lähtekoodiga stabiilne difusioon.

See lähenemisviis hõlmab sisendvideo tugevat vähendamist, kunstliku müra lisamist ja seejärel selle töötlemist video hajutamismudelis, mis seejärel kasutab tekstiviipa, et luua sellest uus video, mis säilitab mõned algse video omadused ja renderdab teised uuesti vastavalt. tekstisisestusse.

Video difusioonimudel pakub paljutõotavat tulevikku, mis võib tuua sisse uue ajastu videotega töötamiseks.

Näiteks allolevas videos muudab Dreamix söövast ahvist (vasakul) tantsiva karu (paremal), kui antakse käsk "Karu tantsib ja hüppab rõõmsa muusika saatel, liigutades kogu keha."

Järgmises näites kasutab Dreamix mallina ühte fotot (nagu pildist videoks) ja seejärel animeeritakse objekt sellest videos viipa kaudu. Kaamera liigutamine on võimalik ka uues stseenis või sellele järgneval aeglustatud salvestusel.

Teises näites muudab Dreamix orangutani veebasseinis (vasakul) oranžide juustega orangutaniks, kes supleb kaunis vannitoas.

“Kui pilditöötluses on difusioonmudeleid edukalt rakendatud, siis videotöötluses on seda tehtud väga vähe. Esitleme esimest difusioonipõhist meetodit, mis on võimeline teostama üldiste videote tekstipõhist liikumist ja välimust.

Google'i uurimistöö kohaselt kasutab Dreamix video difusioonimudelit, et kombineerida esialgse video madala eraldusvõimega ruumilise ja ajalise teabega, mille ta sünteesis, et viia vastavusse suunava tekstiviipaga.

Google ütles, et kasutas seda lähenemisviisi, kuna "algse video kõrge täpsuse saavutamiseks on vaja säilitada osa selle kõrge eraldusvõimega teabest, lisame esialgsele videole mudeli peenhäälestuse esialgse etapi, mis suurendab oluliselt täpsust."

Allpool on videoülevaade Dreamixi toimimisest.

[Varjatud sisu]

Kuidas Dreamixi video difusioonimudelid töötavad

Google'i sõnul piirab Dreamixi video difusioonimudeli peenhäälestus ainuüksi sisendvideol liikumise muutumise ulatust. Selle asemel kasutame segaobjektiivi, mis lisaks algsele objektiivile (vasakul all) peenhäälestub ka järjestamata kaadrite komplektil. Seda tehakse maskeeritud ajalise tähelepanu kasutamisega, vältides ajalise tähelepanu ja konvolutsiooni peenhäälestamist (all paremal). See võimaldab staatilisele videole liikumist lisada.

"Meie meetod toetab mitut rakendust rakendusest sõltuva eeltöötlusega (vasakul), teisendades sisendsisu ühtsesse videovormingusse. Pilt-videoks sisendkujutis dubleeritakse ja teisendatakse perspektiivteisenduste abil, sünteesides jämedat videot koos teatud kaamera liikumisega. Teemapõhise video genereerimisel jäetakse sisend välja – täpsuse eest hoolitseb ainuüksi peenhäälestus. Seda jämedat videot redigeeritakse seejärel meie üldise „Dreamixi videoredaktoriga“ (paremal): esmalt rikume video alladisampliga, millele järgneb müra lisamine. Seejärel rakendame peenhäälestatud tekstipõhise video hajutuse mudelit, mis tõstab video lõpliku ruumilise ja ajalise eraldusvõimeni,“ kirjutas Dream GitHub.

Uurimistööd saate lugeda allpool.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
• Allikas: https://techstartups.com/2023/02/10/google-launches-ai-powered-video-editor-dreamix-to-create-edit-videos-and-animate-images/