Revolutionerende skabelse på Roblox med Generative AI - Roblox Blog

Revolutionerende skabelse på Roblox med Generative AI – Roblox Blog

Tidsstempel: 11. september 2023 kl. 12
Kildeknude: 2874293

Tidligere i år delte vi vores vision til generativ kunstig intelligens (AI) på Roblox og de intuitive nye værktøjer, der gør det muligt for enhver bruger at blive en skaber. Da disse værktøjer udvikler sig hurtigt på tværs af branchen, ønskede jeg at give nogle opdateringer om de fremskridt, vi har gjort, den vej, der stadig er forude for at demokratisere generativ AI-skabelse, og hvorfor vi mener, at generativ AI er et afgørende element for, hvor Roblox er på vej hen. 

Fremskridt inden for generative AI og store sprogmodeller (LLM'er) giver en utrolig mulighed for at låse op for fremtiden for fordybende oplevelser ved at muliggøre lettere og hurtigere oprettelse, samtidig med at sikkerheden opretholdes og uden at kræve massive computerressourcer. Ydermere åbner fremskridt inden for AI-modeller, der er multimodale, hvilket betyder, at de er trænet med flere typer indhold – såsom billeder, kode, tekst, 3D-modeller og lyd – døren for nye fremskridt inden for skabelsesværktøjer. De samme modeller begynder også at producere multimodale output, såsom en model, der kan skabe et tekstoutput, såvel som nogle visuelle elementer, der komplementerer teksten. Vi ser disse AI-gennembrud som en enorm mulighed for samtidig at øge effektiviteten for mere erfarne skabere og gøre det muligt for endnu flere mennesker at bringe gode ideer ud i livet på Roblox. Hos dette år Roblox Developers Conference (RDC), annoncerede vi flere nye værktøjer, der vil bringe generativ kunstig intelligens ind i Roblox Studio og videre for at hjælpe alle på Roblox med at skalere hurtigere, iterere hurtigere og øge deres færdigheder for at skabe endnu bedre indhold. 

Roblox assistent

Roblox har altid givet skabere værktøjerne, tjenesterog support de skal bygge fordybende 3D-oplevelser. Samtidig har vi set vores skabere begynde at bruge generativ og konversations-AI fra tredjepart til at hjælpe dem med at skabe. Selvom de er nyttige til at hjælpe med at reducere skaberens arbejdsbyrde, er disse hyldeversioner ikke designet til ende-til-ende Roblox-arbejdsgange eller trænet i Roblox-kode, slang og lingo. Det betyder, at skabere står over for betydeligt ekstra arbejde for at bruge disse versioner til at skabe indhold til Roblox. Vi har arbejdet på måder at bringe værdien af ​​disse værktøjer ind i Roblox Studio, og hos RDC delte vi et tidligt eksempel på Assistant.

Assistant er vores samtale-AI, der gør det muligt for skabere på alle færdighedsniveauer at bruge betydeligt mindre tid på de verdslige, gentagne opgaver, der er involveret i at skabe, og mere tid på aktiviteter af høj værdi, såsom fortælling, gameplay og oplevelsesdesign. Roblox er unikt positioneret til at bygge denne samtale-AI-model til fordybende 3D-verdener, takket være vores adgang til et stort sæt offentlige 3D-modeller at træne på, vores evne til at integrere en model med vores platforms API'er og vores voksende suite af innovative AI-løsninger . Skabere vil være i stand til at bruge tekstprompter på naturligt sprog til at skabe scener, redigere 3D-modeller og anvende interaktiv adfærd på objekter. Assistent vil understøtte de tre faser af skabelsen: læring, kodning og bygning:

  • Læring: Uanset om en skaber er helt ny til at udvikle på Roblox eller en erfaren veteran, vil Roblox Assistant hjælpe med at besvare spørgsmål på tværs af en bred vifte af overflader ved hjælp af naturligt sprog. 
  • Coding: Assistent vil udvide vores seneste Kode Assist værktøj. For eksempel kan udviklere bede Assistant om at forbedre deres kode, forklare en sektion af kode eller hjælpe med at fejlsøge og foreslå rettelser til kode, der ikke fungerer korrekt.
  • Bygning: Assistent vil hjælpe skabere med hurtigt at lave prototyper af nye ideer. En ny skaber kan f.eks. generere hele scener og prøve forskellige versioner ved blot at skrive en prompt som "Tilføj nogle gadelygter langs denne vej" eller "Lav en skov med forskellige slags træer. Tilføj nu nogle buske og blomster."

Arbejdet med Assistant vil være samarbejdende, interaktivt og iterativt, hvilket gør det muligt for skabere at give feedback og få Assistant til at arbejde for at levere den rigtige løsning. Det vil være som at have en ekspertskaber som partner, som du kan hoppe ideer fra og afprøve ideer, indtil du får det rigtige.

frameborder=”0″ tillade=”accelerometer; automatisk afspilning; udklipsholder-skriv; krypteret-medier; gyroskop; billede-i-billede; web-share" tillad fuld skærm>

For at gøre Assistant til den bedste partner, det kan være, kom vi med endnu en meddelelse hos RDC: Vi inviterede udviklere til opt in at bidrage med deres anonymiserede Luau-scriptdata. Disse scriptdata vil hjælpe med at gøre vores AI-værktøjer, såsom Code Assist og Assistant, væsentligt bedre til at foreslå og skabe mere effektiv kode, hvilket giver tilbage til de Roblox-udviklere, der bruger dem. Yderligere, hvis udviklere vælger at dele ud over Roblox, vil deres scriptdata blive tilføjet til et datasæt, der er gjort tilgængeligt for tredjeparter for at træne deres AI-chatværktøjer til at blive bedre til at foreslå Luau-kode, og give tilbage til Luau-udviklere overalt.

For at være tydelige har vi gennem omfattende brugerundersøgelser og gennemsigtige samtaler med topudviklere designet dette til at være opt-in og vil hjælpe med at sikre, at alle deltagere forstår og giver samtykke til, hvad programmet indebærer. Som en tak til dem, der vælger at deltage i at dele script-data med Roblox, vil vi give adgang til de mere kraftfulde versioner af Assistant og Code Assist, der er drevet af denne community-trænede model. De, der ikke har tilmeldt sig, vil fortsat have adgang til vores eksisterende version af Assistant og Code Assist.

Nemmere avatar-oprettelse 

I sidste ende ønsker vi, at hver af vores 65.5 millioner daglige brugere skal have en avatar, der virkelig repræsenterer dem og udtrykker, hvem de er. Vi har for nylig frigivet muligheden for vores UGC-programmedlemmer skabe og sælge både avatar-kroppe og selvstændige hoveder. I dag kræver den proces adgang til Studio eller vores UGC-program, et ret højt niveau af færdigheder og flere dages arbejde for at muliggøre ansigtsudtryk, kropsbevægelser, 3D-rigging osv. Dette gør avatarer tidskrævende at skabe og har, at dato, begrænset antallet af tilgængelige muligheder. Vi vil gå endnu længere.

For at gøre det muligt for alle på Roblox at have en personlig, udtryksfuld avatar, er vi nødt til at gøre avatarer meget nemme at generere og tilpasse. Hos RDC annoncerede vi et nyt værktøj, som vi frigiver i 2024, som vil muliggøre nem oprettelse af en brugerdefineret avatar fra et billede eller fra flere billeder. Med dette værktøj vil enhver skaber med adgang til Studio eller vores UGC-program være i stand til at uploade et billede, få oprettet en avatar til dem og derefter ændre det, som de vil. På længere sigt agter vi også at gøre dette tilgængeligt direkte inden for oplevelser på Roblox.

For at gøre dette muligt træner vi AI-modeller på Roblox' avatar-skema og et sæt Roblox-ejede 3D-avatarmodeller. Én tilgang udnytter forskning til generering af 3D-stiliserede avatarer fra 2D-billeder. Vi ser også på at bruge præ-trænede tekst-til-billede-diffusionsmodeller til at udvide begrænsede 3D-træningsdata med 2D-generative teknikker og bruge et generativt modstridende netværk (GAN)-baseret 3D-genereringsnetværk til træning. Endelig arbejder vi på at bruge KontrolNet at lave lag i foruddefinerede positurer for at guide de resulterende multi-view-billeder af avatarerne. 

Denne proces producerer et 3D-mesh til avataren. Dernæst udnytter vi 3D semantisk segmenteringsforskning, trænet i 3D-avatar-stillinger, for at tage det 3D-mesh og justere det for at tilføje passende ansigtstræk, caging, rigging og teksturer, i det væsentlige, hvilket gør det statiske 3D-mesh til en Roblox-avatar. Endelig giver et mesh-redigeringsværktøj brugerne mulighed for at ændre og justere modellen for at få den til at ligne den version, de forestiller sig. Og alt dette sker hurtigt – inden for få minutter – og genererer en ny avatar, der kan importeres til Roblox og bruges i en oplevelse.

frameborder=”0″ tillade=”accelerometer; automatisk afspilning; udklipsholder-skriv; krypteret-medier; gyroskop; billede-i-billede; web-share" tillad fuld skærm>

Moderering af stemmekommunikation

AI for os handler ikke kun om skabelse, det er også et meget mere effektivt system til at sikre et mangfoldigt, sikkert og civilt samfund i stor skala. Da vi begynder at udrulle nye stemmefunktioner, inklusive stemmechat og Roblox Connect, det nye opkald som din avatar-funktion og API'er, der blev annonceret på RDC, står vi over for en ny udfordring – moderering af talesprog i realtid. Den nuværende industristandard for dette er en proces kendt som Automatic Speech Recognition (ASR), som i det væsentlige tager en lydfil, transskriberer den for at konvertere den til tekst og derefter analyserer teksten for at lede efter upassende sprog, nøgleord osv. 

Dette fungerer godt for virksomheder, der bruger det i mindre skala, men da vi undersøgte at bruge den samme ASR-proces til at moderere stemmekommunikation, indså vi hurtigt, at det er svært og ineffektivt i vores skala. Denne tilgang mister også utrolig værdifuld information, der er kodet i en højttalers lydstyrke og tonefald, såvel som den bredere kontekst af samtalen. Af de millioner af minutters samtale, vi skulle transskribere hver dag, på tværs af forskellige sprog, ville kun en meget lille procentdel endda muligvis lyde som noget upassende. Og efterhånden som vi fortsætter med at skalere, ville det system kræve mere og mere computerkraft for at følge med. Så vi kiggede nærmere på, hvordan vi kunne gøre dette mere effektivt, ved at bygge en pipeline, der går direkte fra live-lyden til mærkning af indhold for at angive, om det overtræder vores politikker eller ej.

I sidste ende var vi i stand til at bygge et internt tilpasset stemmedetektionssystem ved at bruge ASR til at klassificere vores interne stemmedatasæt og derefter bruge de klassificerede stemmedata til at træne systemet. Mere specifikt, for at træne dette nye system, begynder vi med lyd og laver en transskription. Vi kører derefter transskriptionen gennem vores Roblox-tekstfiltersystem for at klassificere lyden. Dette tekstfiltersystem er fantastisk til at detektere politikovertrædende sprog på Roblox, da vi har optimeret det samme filtersystem i årevis på Roblox-specifik slang, forkortelser og lingo. I slutningen af ​​disse træningslag har vi en model, der er i stand til at registrere overtrædelser af politik direkte fra lyd i realtid.

Selvom dette system har evnen til at registrere specifikke søgeord som f.eks. bandeord, er politikovertrædelser sjældent kun ét ord. Et ord kan ofte virke problematisk i én sammenhæng og fint i en anden sammenhæng. I det væsentlige involverer disse typer krænkelser, hvad du siger, hvordan du siger det, og den kontekst, hvori udsagnene er fremsat.

For at blive bedre til at forstå kontekst, udnytter vi den native power af en transformer-baseret arkitektur, som er meget god til at opsummere sekvenser. Det kan tage en sekvens af data, som en lydstrøm, og opsummere det for dig. Denne arkitektur gør det muligt for os at bevare en længere lydsekvens, så vi kan registrere ikke kun ord, men også kontekst og intonationer. Når alle disse elementer er samlet, har vi et endeligt system, hvor inputtet er lyd, og outputtet er en klassifikation – overtræder politikken eller ikke gør det. Dette system kan registrere søgeord og politikovertrædende sætninger, men også tone, følelser og anden kontekst, der er vigtig for at bestemme hensigten. Dette nye system, som detekterer politikovertrædende tale direkte fra lyd, er betydeligt mere computereffektivt end et traditionelt ASR-system, hvilket vil gøre det meget nemmere at skalere, mens vi fortsætter med at genforestille, hvordan mennesker mødes.

Vi havde også brug for en ny måde at advare dem på vores stemmekommunikationsværktøjer om de potentielle konsekvenser af denne type sprog. Med dette innovative detektionssystem til vores rådighed, eksperimenterer vi nu med måder at påvirke onlineadfærd for at opretholde et sikkert miljø. Vi ved, at folk nogle gange overtræder vores politikker utilsigtet, og vi vil gerne forstå, om en lejlighedsvis påmindelse kan hjælpe med at forhindre yderligere lovovertrædelser. For at hjælpe med dette, eksperimenterer vi med brugerfeedback i realtid gennem meddelelser. Hvis systemet registrerer, at du har sagt noget, der overtræder vores politikker et antal gange, viser vi en pop op-meddelelse på din skærm, der informerer dig om, at dit sprog overtræder vores politikker, og leder dig til vores politikker for at få flere oplysninger.

Voice stream notifikationer er dog kun et element i modereringssystemet. Vi ser også på adfærdsmønstre på platformen, såvel som klager fra andre på Roblox, for at drive vores overordnede moderationsbeslutninger. Sammenlægningen af ​​disse signaler kan resultere i stærkere konsekvenser, herunder at få tilbagekaldt adgang til lydfunktioner, eller for mere alvorlige overtrædelser at blive fuldstændig forbudt fra platformen. At holde vores samfund sikkert og civilt er afgørende, da disse fremskridt inden for multimodale AI-modeller, generativ AI og LLM'er samles for at muliggøre utrolige nye værktøjer og muligheder for skabere. 

Vi mener, at det at give skabere disse værktøjer både vil sænke adgangsbarrieren for mindre erfarne skabere og frigøre mere erfarne skabere fra de mere kedelige opgaver i denne proces. Dette vil give dem mulighed for at bruge mere tid på de opfindsomme aspekter af finjustering og idéudvikling. Vores mål med alt dette er at gøre det muligt for alle, overalt, at bringe deres ideer ud i livet og at øge mangfoldigheden af ​​avatarer, genstande og oplevelser, der er tilgængelige på Roblox. Det er vi også deling af oplysninger og værktøjer til at beskytte nye kreationer. 

Vi forestiller os allerede fantastiske muligheder: Lad os sige, at nogen er i stand til at oprette en avatar-doppelganger direkte fra et billede, så kan de tilpasse deres avatar til at gøre dem højere eller gengive dem i anime-stil. Eller de kan opbygge en oplevelse ved at bede Assistant om at tilføje biler, bygninger og landskaber, indstille lys- eller vindforhold eller ændre terrænet. Derfra kunne de iterere for at forfine tingene bare ved at skrive frem og tilbage med Assistant. Vi ved, at virkeligheden af, hvad folk skaber med disse værktøjer, når de bliver tilgængelige, vil gå langt ud over, hvad vi overhovedet kan forestille os.

Tidsstempel:

Mere fra Roblox