Revolucionarno ustvarjanje na Robloxu z generativno umetno inteligenco - Blog Roblox

Ponovno objavil Platon

Spremljevalci: 0

V začetku tega leta smo delili svoje Vizija za generativno umetno inteligenco (AI) na Robloxu in nova intuitivna orodja, ki bodo vsakemu uporabniku omogočila, da postane ustvarjalec. Ker se ta orodja hitro razvijajo v industriji, sem želel zagotoviti nekaj posodobitev o napredku, ki smo ga dosegli, poti, ki je še pred nami, da bi demokratizirali ustvarjanje generativne umetne inteligence, in zakaj menimo, da je generativna umetna inteligenca kritičen element za to, kam gre Roblox.

Napredek na področju generativne umetne inteligence in velikih jezikovnih modelov (LLM) predstavlja neverjetno priložnost za odklepanje prihodnosti poglobljenih izkušenj z omogočanjem lažjega in hitrejšega ustvarjanja ob ohranjanju varnosti in brez potrebe po ogromnih računalniških virih. Poleg tega napredek pri modelih umetne inteligence, ki so multimodalni, kar pomeni, da se usposabljajo z več vrstami vsebine – kot so slike, koda, besedilo, 3D modeli in zvok – odpira vrata novim napredkom v orodjih za ustvarjanje. Ti isti modeli začenjajo proizvajati tudi multimodalne rezultate, kot je model, ki lahko ustvari besedilni izhod, kot tudi nekaj vizualnih elementov, ki dopolnjujejo besedilo. Te preboje umetne inteligence vidimo kot ogromno priložnost za sočasno povečanje učinkovitosti za bolj izkušene ustvarjalce in omogočanje še več ljudem, da uresničijo odlične ideje na Robloxu. Na letošnjem Konferenca razvijalcev Roblox (RDC)smo napovedali več novih orodij, ki bodo prinesla generativno umetno inteligenco v Roblox Studio in širše, da bi vsakomur v Robloxu pomagala hitreje napredovati, hitreje ponavljati in povečati svoje sposobnosti za ustvarjanje še boljše vsebine.

Roblox pomočnik

Roblox je ustvarjalcem vedno zagotavljal orodja, Storitvein podpora zgraditi morajo poglobljene 3D izkušnje. Hkrati smo opazili, da so naši ustvarjalci začeli uporabljati generativno in pogovorno umetno inteligenco tretjih oseb, ki jim je pomagala pri ustvarjanju. Čeprav so uporabne za pomoč pri zmanjševanju delovne obremenitve ustvarjalca, te standardne različice niso bile zasnovane za celovite poteke dela Roblox ali usposobljene za kodo, sleng in jezik Roblox. To pomeni, da se ustvarjalci soočajo s precejšnjim dodatnim delom pri uporabi teh različic za ustvarjanje vsebine za Roblox. Delali smo na načinih, kako vrednost teh orodij prenesti v Roblox Studio, pri RDC pa smo delili zgodnji primer Assistant-a.

Assistant je naš pogovorni AI, ki ustvarjalcem vseh ravni spretnosti omogoča, da porabijo bistveno manj časa za vsakdanja, ponavljajoča se opravila, povezana z ustvarjanjem, in več časa za dejavnosti visoke vrednosti, kot so pripovedovanje, igranje iger in načrtovanje izkušenj. Roblox je v edinstvenem položaju za izdelavo tega pogovornega modela umetne inteligence za poglobljene 3D-svetove, zahvaljujoč našemu dostopu do velikega nabora javnih 3D-modelov za usposabljanje, naši zmožnosti integracije modela z API-ji naše platforme in našemu rastočemu naboru inovativnih rešitev umetne inteligence . Ustvarjalci bodo lahko uporabljali besedilne pozive v naravnem jeziku za ustvarjanje prizorov, urejanje 3D modelov in uporabo interaktivnega vedenja za predmete. Pomočnik bo podpiral tri faze ustvarjanja: učenje, kodiranje in izgradnja:

Učenje: Ne glede na to, ali je ustvarjalec nov v razvoju na Robloxu ali izkušen veteran, bo Roblox Assistant pomagal odgovoriti na vprašanja na številnih področjih z uporabo naravnega jezika.
Kodiranje: Pomočnik bo razširil naše nedavne Code Assist orodje. Razvijalci lahko na primer prosijo pomočnika, naj izboljša njihovo kodo, razloži del kode ali pomaga pri odpravljanju napak in predlaga popravke za kodo, ki ne deluje pravilno.
Stavba: Pomočnik bo ustvarjalcem pomagal pri hitrem prototipiranju novih idej. Nov ustvarjalec bi lahko na primer ustvaril cele prizore in preizkusil različne različice preprosto tako, da bi vtipkal poziv, kot je »Dodajte nekaj uličnih svetilk ob tej cesti« ali »Naredite gozd z različnimi vrstami dreves. Zdaj dodajte nekaj grmovja in rož."

Delo s Pomočnikom bo sodelovalno, interaktivno in ponavljajoče se, kar bo ustvarjalcem omogočilo, da zagotovijo povratne informacije in omogočijo Pomočniku, da zagotovi pravo rešitev. To bo tako, kot če bi imeli za partnerja strokovnjaka, ustvarjalca, od katerega bi lahko odbijali ideje in jih preizkušali, dokler vam ne uspe.

frameborder=”0″ allow=”merilnik pospeška; samodejno predvajanje; pisanje v odložišče; šifrirani mediji; žiroskop; slika v sliki; spletna skupna raba«Allowfullscreen>

Da bi Assistant postal najboljši možni partner, smo pri RDC objavili še eno obvestilo: povabili smo razvijalce vključi se da prispevajo svoje anonimizirane podatke skripta Luau. Ti podatki skripta bodo pomagali, da bodo naša orodja AI, kot sta Code Assist in Assistant, bistveno boljša pri predlaganju in ustvarjanju učinkovitejše kode, kar bo povrnilo razvijalcem Robloxa, ki jih uporabljajo. Nadalje, če se razvijalci odločijo za skupno rabo zunaj Robloxa, bodo njihovi podatki o skriptu dodani naboru podatkov, ki je na voljo tretjim osebam za usposabljanje njihovih orodij za klepet z umetno inteligenco, da bodo boljša pri predlaganju kode Luau, kar bo vrnilo razvijalcem Luau povsod.

Če želimo biti jasni, smo z obsežno raziskavo uporabnikov in preglednimi pogovori z vrhunskimi razvijalci to zasnovali tako, da se lahko vključite in bomo pomagali zagotoviti, da bodo vsi udeleženci razumeli in soglašali s tem, kar vključuje program. V zahvalo tistim, ki se odločijo sodelovati pri deljenju podatkov skriptov z Robloxom, bomo odobrili dostop do zmogljivejših različic Assistant in Code Assist, ki ju poganja ta model, ki ga je usposobila skupnost. Tisti, ki se niso prijavili, bodo še naprej imeli dostop do naše obstoječe različice Assistant in Code Assist.

Lažje ustvarjanje avatarja

Navsezadnje želimo, da ima vsak od naših 65.5 milijonov dnevnih uporabnikov avatar, ki ga resnično predstavlja in izraža, kdo so. Pred kratkim smo izdali možnost za člane programa UGC ustvarjajte in prodajajte telesa avatarjev in samostojne glave. Danes ta postopek zahteva dostop do Studia ali našega programa UGC, dokaj visoko raven spretnosti in večdnevno delo, da omogočimo mimiko obraza, gibanje telesa, 3D-opremljanje itd. Zaradi tega je ustvarjanje avatarjev zamudno in jih je treba datum, omejeno število razpoložljivih možnosti. Želimo iti še dlje.

Da bi lahko vsi uporabniki Robloxa imeli personaliziran, izrazit avatar, moramo ustvariti in prilagoditi avatarje zelo preprosto. Pri RDC smo napovedali novo orodje, ki ga bomo izdali leta 2024 in bo omogočilo preprosto ustvarjanje avatarja po meri iz slike ali več slik. S tem orodjem bo vsak ustvarjalec z dostopom do Studia ali našega programa UGC lahko naložil sliko, ustvaril avatar zanj in ga nato poljubno spremenil. Dolgoročno nameravamo to omogočiti tudi neposredno v izkušnjah na Robloxu.

Da bi to omogočili, usposabljamo modele AI na Robloxovi shemi avatarjev in nizu modelov 3D avatarjev v lasti Robloxa. En pristop ima vzvode Raziskave za ustvarjanje 3D stiliziranih avatarjev iz 2D slik. Preučujemo tudi možnost uporabe vnaprej pripravljenih modelov razširjanja besedila v sliko za razširitev omejenih podatkov o 3D usposabljanju z 2D generativnimi tehnikami in uporabo generativnega nasprotnega omrežja (GAN), ki temelji na generativnem 3D omrežju za usposabljanje. Končno delamo na uporabi ControlNet za plastenje v vnaprej določenih pozah za vodenje nastalih večpoglednih slik avatarjev.

Ta postopek ustvari 3D mrežo za avatar. Nato uporabimo 3D raziskave semantične segmentacije, ki je bil usposobljen za poze 3D-avatarjev, da vzame to 3D-mrežo in jo prilagodi, da doda ustrezne obrazne poteze, kletke, opremo in teksture, v bistvu tako, da statično 3D-mrežo spremeni v avatar Roblox. Končno orodje za urejanje mreže omogoča uporabnikom preoblikovanje in prilagajanje modela, da bo videti bolj podoben različici, ki si jo predstavljajo. In vse to se zgodi hitro – v nekaj minutah – ustvari nov avatar, ki ga je mogoče uvoziti v Roblox in uporabiti v izkušnji.

frameborder=”0″ allow=”merilnik pospeška; samodejno predvajanje; pisanje v odložišče; šifrirani mediji; žiroskop; slika v sliki; spletna skupna raba«Allowfullscreen>

Moderiranje glasovne komunikacije

AI za nas ni samo ustvarjanje, je tudi veliko bolj učinkovit sistem za zagotavljanje raznolike, varne in civilne skupnosti v velikem obsegu. Ko začnemo uvajati nove glasovne funkcije, vključno z glasovnim klepetom in Roblox Connect, novo funkcijo klicanja kot vašega avatarja in API-ji, ki so bili objavljeni na RDC, se soočamo z novim izzivom – moderiranjem govorjenega jezika v realnem času. Trenutni industrijski standard za to je postopek, znan kot samodejno prepoznavanje govora (ASR), ki v bistvu vzame zvočno datoteko, jo prepiše, da jo pretvori v besedilo, nato pa analizira besedilo, da poišče neprimeren jezik, ključne besede itd.

To dobro deluje za podjetja, ki ga uporabljajo v manjšem obsegu, a ko smo raziskovali uporabo tega istega postopka ASR za moderiranje glasovne komunikacije, smo hitro ugotovili, da je v našem obsegu težko in neučinkovito. S tem pristopom se izgubijo tudi neverjetno dragocene informacije, ki so zakodirane v glasnosti in tonu glasu zvočnika, pa tudi v širšem kontekstu pogovora. Od milijonov minut pogovora, ki bi ga morali prepisati vsak dan v različnih jezikih, bi le zelo majhen odstotek zvenel celo kot nekaj neprimernega. In ko se še naprej širimo, bi ta sistem zahteval vedno več računalniške moči, da bi sledil. Zato smo podrobneje preučili, kako bi lahko to storili učinkoviteje, tako da bi zgradili cevovod, ki gre neposredno od zvoka v živo do označevanja vsebine, da bi označili, ali krši naše pravilnike ali ne.

Končno nam je uspelo zgraditi interni sistem za zaznavanje glasu po meri z uporabo ASR za klasifikacijo naših internih nizov glasovnih podatkov, nato pa uporabiti te tajne glasovne podatke za usposabljanje sistema. Natančneje, za usposabljanje tega novega sistema začnemo z zvokom in ustvarimo prepis. Nato zaženemo prepis skozi naš sistem besedilnih filtrov Roblox, da razvrstimo zvok. Ta sistem filtrov za besedilo je odličen pri odkrivanju jezika, ki krši pravilnike na Robloxu, saj ta isti sistem filtrov že leta optimiziramo za sleng, okrajšave in žargon, značilen za Roblox. Na koncu teh ravni usposabljanja imamo model, ki je sposoben zaznati kršitve pravilnika neposredno iz zvoka v realnem času.

Čeprav ima ta sistem možnost zaznavanja določenih ključnih besed, kot je psovke, so kršitve pravilnika le redko samo ena beseda. Ena beseda se lahko pogosto zdi problematična v enem kontekstu in čisto v redu v drugem kontekstu. V bistvu te vrste kršitev vključujejo, kaj govorite, kako to govorite in kontekst, v katerem so izjave podane.

Za boljše razumevanje konteksta izkoriščamo izvorno moč arhitekture na osnovi transformatorjev, ki je zelo dobra pri povzemanju zaporedja. Lahko vzame zaporedje podatkov, kot je zvočni tok, in ga povzame za vas. Ta arhitektura nam omogoča ohranitev daljšega zvočnega zaporedja, tako da lahko zaznamo ne samo besede, ampak tudi kontekst in intonacije. Ko se vsi ti elementi združijo, imamo končni sistem, kjer je vhod zvok, izhod pa klasifikacija – ali krši pravilnik ali ne. Ta sistem lahko zazna ključne besede in fraze, ki kršijo pravila, pa tudi ton, čustva in drug kontekst, ki je pomemben za določitev namena. Ta novi sistem, ki zaznava govor, ki krši pravilnik, neposredno iz zvoka, je bistveno bolj računalniško učinkovit kot tradicionalni sistem ASR, kar bo olajšalo njegovo prilagajanje, ko si bomo še naprej predstavljali, kako se ljudje združujejo.

Potrebovali smo tudi nov način, da tiste, ki uporabljajo naša orodja za govorno komunikacijo, opozorimo na morebitne posledice te vrste jezika. S tem inovativnim sistemom zaznavanja, ki nam je na voljo, zdaj preizkušamo načine, kako vplivati na spletno vedenje, da ohranimo varno okolje. Vemo, da ljudje včasih nenamerno kršijo naše pravilnike in želimo razumeti, ali lahko občasen opomin pomaga preprečiti nadaljnje kršitve. V pomoč pri tem eksperimentiramo s povratnimi informacijami uporabnikov v realnem času prek obvestil. Če sistem zazna, da ste nekajkrat rekli nekaj, kar krši naše pravilnike, bomo na vašem zaslonu prikazali pojavno obvestilo, ki vas bo obvestilo, da vaš jezik krši naše pravilnike, in vas usmerili na naše pravilnike za več informacij.

Obvestila o glasovnem toku pa so le en element sistema moderiranja. Preučujemo tudi vedenjske vzorce na platformi in pritožbe drugih na Robloxu, da vodimo naše splošne odločitve glede moderiranja. Skupek teh signalov lahko povzroči hujše posledice, vključno s preklicem dostopa do zvočnih funkcij ali popolno prepovedjo platforme za resnejše kršitve. Ohranjanje varne in civilne skupnosti je ključnega pomena, saj se ta napredek v multimodalnih modelih umetne inteligence, generativni umetni inteligenci in LLM združuje, da bi ustvarjalcem omogočil neverjetna nova orodja in zmogljivosti.

Verjamemo, da bo zagotavljanje teh orodij ustvarjalcem zmanjšalo vstopne ovire za manj izkušene ustvarjalce in osvobodilo izkušenejše ustvarjalce bolj dolgočasnih opravil tega procesa. To jim bo omogočilo, da porabijo več časa za inventivne vidike natančnega prilagajanja in oblikovanja idej. Naš cilj pri vsem tem je omogočiti vsakomur in povsod, da uresniči svoje ideje in močno povečati raznolikost avatarjev, predmetov in izkušenj, ki so na voljo na Robloxu. Tudi mi smo izmenjava informacij in orodij za zaščito novih stvaritev.

Že predstavljamo si neverjetne možnosti: Recimo, da je nekdo sposoben ustvariti dvojnika avatarja neposredno iz fotografije, nato pa lahko svoj avatar prilagodi tako, da postane višji ali ga upodobi v anime slogu. Lahko pa ustvarijo izkušnjo tako, da prosijo Pomočnika, naj doda avtomobile, zgradbe in pokrajino, nastavi osvetlitev ali razmere vetra ali spremeni teren. Od tam so lahko ponavljali in izboljšali stvari samo s tipkanjem naprej in nazaj s Pomočnikom. Vemo, da bo resničnost tega, kar ljudje ustvarijo s temi orodji, ko bodo na voljo, presegla tisto, kar si sploh lahko predstavljamo.