Revoluționarea creației pe Roblox cu IA generativă – Blog Roblox

La începutul acestui an, ne-am împărtășit viziune pentru inteligența artificială generativă (AI) pe Roblox și noile instrumente intuitive care vor permite fiecărui utilizator să devină creator. Pe măsură ce aceste instrumente evoluează rapid în industrie, am vrut să ofer câteva actualizări cu privire la progresele pe care le-am făcut, drumul care este încă înainte pentru a democratiza crearea AI generativă și de ce credem că AI generativă este un element critic pentru unde merge Roblox. 

Progresele în IA generativă și modelele de limbaj mari (LLM) reprezintă o oportunitate incredibilă de a debloca viitorul experiențelor imersive, permițând crearea mai ușoară și mai rapidă, menținând în același timp siguranța și fără a necesita resurse de calcul masive. În plus, progresele în modelele AI care sunt multimodale, ceea ce înseamnă că sunt antrenate cu mai multe tipuri de conținut - cum ar fi imagini, cod, text, modele 3D și audio - deschid ușa pentru noi progrese în instrumentele de creație. Aceleași modele încep să producă și ieșiri multimodale, cum ar fi un model care poate crea o ieșire de text, precum și unele elemente vizuale care completează textul. Vedem aceste descoperiri AI ca o oportunitate enormă de a crește simultan eficiența pentru creatorii mai experimentați și de a permite și mai multor oameni să dea viață ideilor grozave pe Roblox. La anul acesta Conferința dezvoltatorilor Roblox (RDC), am anunțat câteva instrumente noi care vor aduce inteligența artificială generativă în Roblox Studio și nu numai pentru a ajuta pe oricine de pe Roblox să scaleze mai rapid, să repete mai rapid și să-și sporească abilitățile pentru a crea conținut și mai bun. 

Asistent Roblox

Roblox a oferit creatorilor întotdeauna instrumentele, Servicii, și a sustine trebuie să construiască experiențe 3D captivante. În același timp, am văzut că creatorii noștri au început să folosească inteligența artificială generativă și conversațională terță parte pentru a-i ajuta să creeze. Deși sunt utile pentru a ajuta la reducerea volumului de lucru al creatorului, aceste versiuni standard nu au fost concepute pentru fluxuri de lucru Roblox end-to-end sau instruite pe codul Roblox, argo și jargon. Aceasta înseamnă că creatorii se confruntă cu o muncă suplimentară semnificativă pentru a folosi aceste versiuni pentru a crea conținut pentru Roblox. Am lucrat la modalități de a aduce valoarea acestor instrumente în Roblox Studio, iar la RDC am împărtășit un exemplu timpuriu de Asistent.

Asistentul este AI-ul nostru conversațional care le permite creatorilor de toate nivelurile de abilități să petreacă mult mai puțin timp sarcinilor banale și repetitive implicate în creare și mai mult timp activităților de mare valoare, cum ar fi narațiune, joc și design de experiență. Roblox este poziționat în mod unic pentru a construi acest model AI conversațional pentru lumi 3D captivante, datorită accesului nostru la un set mare de modele 3D publice pe care să le antrenăm, capacității noastre de a integra un model cu API-urile platformei noastre și suitei noastre în creștere de soluții AI inovatoare. . Creatorii vor putea folosi mesaje text în limbaj natural pentru a crea scene, a edita modele 3D și a aplica comportamente interactive obiectelor. Asistentul va sprijini cele trei faze ale creării: învățare, codare și construcție:

• Învăţare: Indiferent dacă un creator este nou-nouț în dezvoltarea pe Roblox sau un veteran experimentat, Roblox Assistant va ajuta să răspundă la întrebări pe o gamă largă de suprafețe folosind limbajul natural. 
• Codificare: Asistentul se va extinde pe recentul nostru Cod Asist instrument. De exemplu, dezvoltatorii ar putea cere Asistentului să-și îmbunătățească codul, să explice o secțiune de cod sau să ajute la depanare și să sugereze remedieri pentru codul care nu funcționează corect.
• Clădire: Asistentul îi va ajuta pe creatori să prototipeze rapid idei noi. De exemplu, un nou creator ar putea genera scene întregi și poate încerca versiuni diferite, pur și simplu tastând o solicitare precum „Adăugați niște lumini stradale de-a lungul acestui drum” sau „Faceți o pădure cu diferite tipuri de copaci. Acum adăugați niște tufișuri și flori.”

Lucrul cu Asistentul va fi colaborativ, interactiv și iterativ, permițând creatorilor să ofere feedback și ca Asistentul să lucreze pentru a oferi soluția potrivită. Va fi ca și cum ai avea un creator expert ca partener de care poți să-ți răspunzi idei și să le încerci până când vei înțelege bine.

Pentru a face din Assistant cel mai bun partener care poate fi, am făcut un alt anunț la RDC: Am invitat dezvoltatorii optează pentru pentru a contribui cu datele de script Luau anonimizate. Aceste date de script vor ajuta instrumentele noastre AI, cum ar fi Code Assist și Assistant, să sugereze și să creeze un cod mai eficient în mod semnificativ mai bune, oferind înapoi dezvoltatorilor Roblox care le folosesc. În plus, dacă dezvoltatorii optează să partajeze dincolo de Roblox, datele lor de script vor fi adăugate la un set de date pus la dispoziția terților pentru a-și antrena instrumentele de chat AI pentru a sugera mai bine codul Luau, dând înapoi dezvoltatorilor Luau de pretutindeni.

Pentru a fi clar, prin cercetări cuprinzătoare ale utilizatorilor și conversații transparente cu dezvoltatorii de top, am conceput acest lucru pentru a fi opt-in și ne vom asigura că toți participanții înțeleg și sunt de acord cu ceea ce implică programul. Ca o mulțumire celor care aleg să participe la partajarea datelor de script cu Roblox, le vom acorda acces la versiunile mai puternice de Assistant și Code Assist care sunt alimentate de acest model instruit de comunitate. Cei care nu s-au înscris vor continua să aibă acces la versiunea noastră existentă de Asistent și Code Assist.

Creare mai ușoară de avatar 

În cele din urmă, dorim ca fiecare dintre cei 65.5 milioane de utilizatori zilnici ai noștri să aibă un avatar care să-i reprezinte cu adevărat și să exprime cine sunt. Am lansat recent posibilitatea membrilor programului nostru UGC creați și vindeți atât corpuri de avatar, cât și capete independente. Astăzi, acest proces necesită acces la Studio sau la programul nostru UGC, un nivel destul de ridicat de abilități și mai multe zile de muncă pentru a permite expresia facială, mișcarea corpului, manipularea 3D etc. Acest lucru face ca avatarurile să consume mult timp și trebuie să data, a limitat numărul de opțiuni disponibile. Vrem să mergem și mai departe.

Pentru a permite tuturor de pe Roblox să aibă un avatar personalizat și expresiv, trebuie să facem avatarele foarte ușor de generat și personalizat. La RDC, am anunțat un nou instrument pe care îl lansăm în 2024, care va permite crearea ușoară a unui avatar personalizat dintr-o imagine sau din mai multe imagini. Cu acest instrument, orice creator cu acces la Studio sau la programul nostru UGC va putea să încarce o imagine, să aibă un avatar creat pentru el și apoi să îl modifice după cum dorește. Pe termen mai lung, intenționăm să facem acest lucru disponibil și direct în experiențele pe Roblox.

Pentru a face acest lucru posibil, antrenăm modele AI pe schema de avatar Roblox și un set de modele de avatar 3D deținute de Roblox. O abordare folosește cercetare pentru generarea de avatare stilizate 3D din imagini 2D. De asemenea, ne uităm la utilizarea modelelor de difuzare text-to-image pre-antrenate pentru a mări datele limitate de antrenament 3D cu tehnici generative 2D și utilizarea unei rețele de generare 3D bazată pe rețea generativă adversară (GAN) pentru antrenament. În cele din urmă, lucrăm la utilizarea ControlNet să stratificați în ipostaze predefinite pentru a ghida imaginile rezultate cu mai multe vizualizări ale avatarurilor. 

Acest proces produce o plasă 3D pentru avatar. Apoi, folosim 3D cercetarea segmentării semantice, antrenat pe ipostaze de avatar 3D, pentru a lua acea plasă 3D și a o ajusta pentru a adăuga trăsături faciale adecvate, cușcă, tachelaj și texturi, în esență, transformând rețeaua 3D statică într-un avatar Roblox. În cele din urmă, un instrument de editare a rețelei permite utilizatorilor să transforme și să ajusteze modelul pentru a-l face să semene mai mult cu versiunea pe care și-o imaginează. Și toate acestea se întâmplă rapid, în câteva minute, generând un nou avatar care poate fi importat în Roblox și utilizat într-o experiență.

Moderarea comunicării vocale

AI pentru noi nu este doar despre creație, este și un sistem mult mai eficient pentru a asigura o comunitate diversă, sigură și civilă, la scară. Pe măsură ce începem să lansăm noi funcții vocale, inclusiv chatul vocal și Roblox Connect, noua funcție de apelare ca funcție de avatar și API-urile anunțate la RDC, ne confruntăm cu o nouă provocare: moderarea limbajului vorbit în timp real. Standardul actual al industriei pentru acest lucru este un proces cunoscut sub numele de Recunoaștere automată a vorbirii (ASR), care preia, în esență, un fișier audio, îl transcrie pentru a-l converti în text, apoi analizează textul pentru a căuta limbaj, cuvinte cheie, etc. 

Acest lucru funcționează bine pentru companiile care îl folosesc la o scară mai mică, dar pe măsură ce am explorat utilizarea aceluiași proces ASR pentru a modera comunicarea vocală, am realizat rapid că este dificil și ineficient la scara noastră. Această abordare pierde, de asemenea, informații incredibil de valoroase care sunt codificate în volumul și tonul vocii unui vorbitor, precum și în contextul mai larg al conversației. Din milioanele de minute de conversație pe care ar trebui să le transcriem în fiecare zi, în diferite limbi, doar un procent foarte mic ar suna chiar ca ceva nepotrivit. Și pe măsură ce continuăm să creștem, acel sistem ar necesita din ce în ce mai multă putere de calcul pentru a ține pasul. Așa că ne-am uitat mai atent la modul în care am putea face acest lucru mai eficient, prin construirea unui canal care merge direct de la audio live la etichetarea conținutului pentru a indica dacă încalcă politicile noastre sau nu.

În cele din urmă, am reușit să construim un sistem intern de detectare a vocii personalizat utilizând ASR pentru a clasifica seturile noastre de date vocale interne, apoi să folosim acele date vocale clasificate pentru a antrena sistemul. Mai precis, pentru a antrena acest nou sistem, începem cu audio și creăm o transcriere. Apoi rulăm transcrierea prin sistemul nostru de filtrare a textului Roblox pentru a clasifica sunetul. Acest sistem de filtrare a textului este excelent la detectarea limbajului care încalcă politicile pe Roblox, deoarece am optimizat același sistem de filtrare de ani de zile pe argoul, abrevierile și limbajul specific Roblox. La sfârșitul acestor niveluri de instruire, avem un model care este capabil să detecteze încălcările politicii direct din audio în timp real.

Deși acest sistem are capacitatea de a detecta anumite cuvinte cheie, cum ar fi blasfemia, încălcările politicii sunt rareori doar un cuvânt. Un cuvânt poate părea adesea problematic într-un context și foarte bine într-un context diferit. În esență, aceste tipuri de încălcări implică ceea ce spui, cum o spui și contextul în care sunt făcute declarațiile.

Pentru a înțelege mai bine contextul, valorificăm puterea nativă a unei arhitecturi bazate pe transformator, care este foarte bună la rezumarea secvenței. Poate lua o secvență de date, cum ar fi un flux audio, și le poate rezuma pentru dvs. Această arhitectură ne permite să păstrăm o secvență audio mai lungă, astfel încât să putem detecta nu numai cuvintele, ci și contextul și intonațiile. Odată ce toate aceste elemente sunt reunite, avem un sistem final în care intrarea este audio și ieșirea este o clasificare - încalcă politica sau nu. Acest sistem poate detecta cuvintele cheie și expresiile care încalcă politicile, dar și tonul, sentimentul și alt context care este important pentru a determina intenția. Acest nou sistem, care detectează vorbirea care încalcă politicile direct din audio, este semnificativ mai eficient în calcul decât un sistem ASR tradițional, ceea ce va face mult mai ușor scalarea pe măsură ce continuăm să reimaginăm modul în care oamenii se unesc.

De asemenea, aveam nevoie de o nouă modalitate de a-i avertiza pe cei care folosesc instrumentele noastre de comunicare vocală cu privire la potențialele consecințe ale acestui tip de limbaj. Având la dispoziție acest sistem inovator de detectare, experimentăm acum modalități de a afecta comportamentul online pentru a menține un mediu sigur. Știm că uneori oamenii încalcă politicile noastre în mod neintenționat și dorim să înțelegem dacă un memento ocazional ar putea ajuta la prevenirea altor infracțiuni. Pentru a ajuta acest lucru, experimentăm feedback-ul utilizatorilor în timp real prin notificări. Dacă sistemul detectează că ați spus ceva care încalcă politicile noastre de câteva ori, vom afișa o notificare pop-up pe ecran care vă informează că limba dvs. încalcă politicile noastre și vă direcționează către politicile noastre pentru mai multe informații.

Cu toate acestea, notificările de flux vocal sunt doar un element al sistemului de moderare. Ne uităm, de asemenea, la modelele de comportament de pe platformă, precum și la plângerile altora pe Roblox, pentru a determina deciziile noastre generale de moderare. Agregarea acestor semnale ar putea avea consecințe mai puternice, inclusiv revocarea accesului la funcțiile audio sau, pentru infracțiuni mai grave, interzicerea completă a platformei. Menținerea comunității noastre în siguranță și civilă este esențială, deoarece aceste progrese în modelele AI multimodale, IA generativă și LLM-urile se unesc pentru a permite creatorilor noi instrumente și capabilități incredibile. 

Credem că oferirea acestor instrumente creatorilor va reduce bariera de intrare pentru creatorii mai puțin experimentați și va elibera creatorii mai experimentați de sarcinile mai obositoare ale acestui proces. Acest lucru le va permite să petreacă mai mult timp pe aspectele inventive ale reglajului fin și al ideilor. Scopul nostru cu toate acestea este de a permite tuturor, de pretutindeni, să-și dea viață ideilor și să creștem enorm diversitatea avatarurilor, articolelor și experiențelor disponibile pe Roblox. De asemenea, suntem partajarea de informații și instrumente pentru a ajuta la protejarea noilor creații. 

Ne imaginăm deja posibilități uimitoare: să presupunem că cineva este capabil să creeze un avatar doppelganger direct dintr-o fotografie, apoi își poate personaliza avatarul pentru a-l face mai înalt sau pentru a-l reda în stil anime. Sau ar putea crea o experiență solicitând Asistentului să adauge mașini, clădiri și peisaje, să stabilească condițiile de iluminare sau vântul sau să schimbe terenul. De acolo, ei puteau repeta pentru a rafina lucrurile doar tastând înainte și înapoi cu Asistentul. Știm că realitatea a ceea ce oamenii creează cu aceste instrumente, pe măsură ce devin disponibile, va depăși cu mult ceea ce ne putem imagina.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. Automobile/VE-uri, carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• ChartPrime. Crește-ți jocul de tranzacționare cu ChartPrime. Accesați Aici.
• BlockOffsets. Modernizarea proprietății de compensare a mediului. Accesați Aici.
• Sursa: https://blog.roblox.com/2023/09/revolutionizing-creation-roblox/