Revolusjonerende skaperverk på Roblox med generativ kunstig intelligens - Roblox-bloggen

Revolusjonerende skapelse på Roblox med Generative AI – Roblox Blog

Tidsstempel: 11. september 2023 12:17
Kilde node: 2874293

Tidligere i år delte vi vår syn for generativ kunstig intelligens (AI) på Roblox og de intuitive nye verktøyene som vil gjøre det mulig for enhver bruker å bli en skaper. Ettersom disse verktøyene utvikler seg raskt på tvers av bransjen, ønsket jeg å gi noen oppdateringer om fremgangen vi har gjort, veien som fortsatt er foran oss for å demokratisere generativ AI-skaping, og hvorfor vi tror generativ AI er et kritisk element for hvor Roblox er på vei. 

Fremskritt innen generativ AI og store språkmodeller (LLMs) gir en utrolig mulighet til å låse opp fremtiden for oppslukende opplevelser ved å muliggjøre enklere og raskere opprettelse samtidig som sikkerheten opprettholdes og uten å kreve enorme dataressurser. Videre, fremskritt i AI-modeller som er multimodale, noe som betyr at de er trent med flere typer innhold – som bilder, kode, tekst, 3D-modeller og lyd – åpner døren for nye fremskritt innen skapelsesverktøy. De samme modellene begynner også å produsere multimodale utdata, for eksempel en modell som kan lage en tekstutgang, samt noen visuelle elementer som utfyller teksten. Vi ser på disse AI-gjennombruddene som en enorm mulighet til samtidig å øke effektiviteten for mer erfarne skapere og gjøre det mulig for enda flere mennesker å bringe gode ideer ut i livet på Roblox. På årets Roblox Developers Conference (RDC), annonserte vi flere nye verktøy som vil bringe generativ kunstig intelligens inn i Roblox Studio og utover for å hjelpe alle på Roblox med å skalere raskere, iterere raskere og øke ferdighetene deres for å lage enda bedre innhold. 

Roblox assistent

Roblox har alltid gitt skapere verktøyene, tjenesterog støtte de trenger å bygge oppslukende 3D-opplevelser. Samtidig har vi sett skaperne våre begynne å bruke generativ og konversasjons-AI fra tredjeparter for å hjelpe dem med å lage. Selv om de er nyttige for å bidra til å redusere skaperens arbeidsmengde, ble ikke disse hylleversjonene designet for ende-til-ende Roblox-arbeidsflyter eller trent på Roblox-kode, slang og lingo. Det betyr at skapere står overfor betydelig merarbeid for å bruke disse versjonene til å lage innhold for Roblox. Vi har jobbet med måter å bringe verdien av disse verktøyene inn i Roblox Studio, og på RDC delte vi et tidlig eksempel på Assistant.

Assistant er vår samtale-AI som gjør det mulig for skapere på alle ferdighetsnivåer å bruke betydelig mindre tid på de dagligdagse, repeterende oppgavene som er involvert i å skape og mer tid på aktiviteter med høy verdi, som fortelling, spill og opplevelsesdesign. Roblox er unikt posisjonert for å bygge denne samtale-AI-modellen for oppslukende 3D-verdener, takket være vår tilgang til et stort sett med offentlige 3D-modeller å trene på, vår evne til å integrere en modell med våre plattform-API-er og vår voksende serie med innovative AI-løsninger . Skapere vil kunne bruke tekstmeldinger på naturlig språk for å lage scener, redigere 3D-modeller og bruke interaktiv atferd på objekter. Assistent vil støtte de tre fasene av skapelsen: læring, koding og bygging:

  • læring: Enten en skaper er helt ny i utviklingen på Roblox eller en erfaren veteran, vil Roblox Assistant hjelpe deg med å svare på spørsmål på et bredt spekter av overflater ved å bruke naturlig språk. 
  • koding: Assistent vil utdype vår siste Kodehjelp verktøy. Utviklere kan for eksempel be assistenten om å forbedre koden sin, forklare en del av koden eller hjelpe til med å feilsøke og foreslå reparasjoner for kode som ikke fungerer som den skal.
  • Bygning: Assistent vil hjelpe skapere raskt å lage prototyper av nye ideer. For eksempel kan en ny skaper generere hele scener og prøve ut forskjellige versjoner ganske enkelt ved å skrive en melding som «Legg til noen gatelys langs denne veien» eller «Lag en skog med forskjellige trær. Legg nå til noen busker og blomster."

Arbeidet med Assistant vil være samarbeidende, interaktivt og iterativt, noe som gjør det mulig for skapere å gi tilbakemeldinger og få assistenten til å jobbe for å gi den riktige løsningen. Det vil være som å ha en ekspertskaper som partner som du kan sprette ideer av og prøve ut ideer til du får det riktig.

frameborder=”0″ tillat=”akselerometer; Auto spill; utklippstavle-skrive; krypterte medier; gyroskop; bilde-i-bilde; nettdeling" tillat fullskjerm>

For å gjøre Assistant til den beste partneren den kan være, kom vi med en ny kunngjøring hos RDC: Vi inviterte utviklere til melde deg på å bidra med sine anonymiserte Luau-skriptdata. Disse skriptdataene vil bidra til å gjøre AI-verktøyene våre, som Code Assist og Assistant, betydelig bedre til å foreslå og lage mer effektiv kode, og gi tilbake til Roblox-utviklerne som bruker dem. Videre, hvis utviklere velger å dele utover Roblox, vil skriptdataene deres bli lagt til et datasett som gjøres tilgjengelig for tredjeparter for å trene AI-chatverktøyene deres til å bli bedre til å foreslå Luau-kode, og gi tilbake til Luau-utviklere overalt.

For å være tydelig, gjennom omfattende brukerundersøkelser og transparente samtaler med topputviklere, har vi designet dette for å være opt-in og vil bidra til å sikre at alle deltakere forstår og samtykker til hva programmet innebærer. Som en takk til de som velger å delta i å dele skriptdata med Roblox, vil vi gi tilgang til de kraftigere versjonene av Assistant og Code Assist som er drevet av denne fellesskapstrene modellen. De som ikke har meldt seg på vil fortsatt ha tilgang til vår eksisterende versjon av Assistant og Code Assist.

Enklere oppretting av avatarer 

Til syvende og sist ønsker vi at hver av våre 65.5 millioner daglige brukere skal ha en avatar som virkelig representerer dem og uttrykker hvem de er. Vi lanserte nylig muligheten for våre UGC-programmedlemmer lage og selge både avatarkropper og frittstående hoder. I dag krever denne prosessen tilgang til Studio eller vårt UGC-program, et ganske høyt ferdighetsnivå og flere dager med arbeid for å muliggjøre ansiktsuttrykk, kroppsbevegelser, 3D-rigging osv. Dette gjør avatarer tidkrevende å lage og har, for å dato, begrenset antall tilgjengelige alternativer. Vi ønsker å gå enda lenger.

For å gjøre det mulig for alle på Roblox å ha en personlig, uttrykksfull avatar, må vi gjøre avatarer veldig enkle å generere og tilpasse. Hos RDC kunngjorde vi et nytt verktøy vi lanserer i 2024 som vil gjøre det enkelt å lage en egendefinert avatar fra et bilde eller fra flere bilder. Med dette verktøyet vil enhver skaper med tilgang til Studio eller vårt UGC-program kunne laste opp et bilde, lage en avatar for dem og deretter endre den slik de vil. På lengre sikt har vi til hensikt å også gjøre dette tilgjengelig direkte innenfor opplevelser på Roblox.

For å gjøre dette mulig trener vi AI-modeller på Roblox sitt avatarskjema og et sett med Roblox-eide 3D-avatarmodeller. Én tilnærming utnytter forskning for å generere 3D-stiliserte avatarer fra 2D-bilder. Vi ser også på å bruke forhåndstrente tekst-til-bilde-diffusjonsmodeller for å utvide begrensede 3D-treningsdata med 2D-generative teknikker, og bruke et generativt motstridende nettverk (GAN)-basert 3D-generasjonsnettverk for trening. Til slutt jobber vi med å bruke ControlNet å legge lag i forhåndsdefinerte positurer for å veilede de resulterende multi-view-bildene av avatarene. 

Denne prosessen produserer et 3D-nettverk for avataren. Deretter bruker vi 3D semantisk segmenteringsforskning, trent på 3D-avatar-positurer, for å ta det 3D-nettverket og justere det for å legge til passende ansiktstrekk, caging, rigging og teksturer, i hovedsak, noe som gjør det statiske 3D-nettverket til en Roblox-avatar. Til slutt lar et mesh-redigeringsverktøy brukere endre og justere modellen for å få den til å se mer ut som versjonen de forestiller seg. Og alt dette skjer raskt – i løpet av minutter – og genererer en ny avatar som kan importeres til Roblox og brukes i en opplevelse.

frameborder=”0″ tillat=”akselerometer; Auto spill; utklippstavle-skrive; krypterte medier; gyroskop; bilde-i-bilde; nettdeling" tillat fullskjerm>

Moderere stemmekommunikasjon

AI for oss handler ikke bare om skapelse, det er også et mye mer effektivt system for å sikre et mangfoldig, trygt og sivilt samfunn i stor skala. Når vi begynner å rulle ut nye talefunksjoner, inkludert talechat og Roblox Connect, den nye calling som din avatar-funksjon, og API-er annonsert på RDC, står vi overfor en ny utfordring – moderering av talespråk i sanntid. Den gjeldende industristandarden for dette er en prosess kjent som Automatic Speech Recognition (ASR), som i hovedsak tar en lydfil, transkriberer den for å konvertere den til tekst, og deretter analyserer teksten for å se etter upassende språk, nøkkelord, etc. 

Dette fungerer bra for bedrifter som bruker det i en mindre skala, men da vi utforsket å bruke den samme ASR-prosessen for å moderere talekommunikasjon, innså vi raskt at det er vanskelig og ineffektivt i vår skala. Denne tilnærmingen mister også utrolig verdifull informasjon som er kodet i en høyttalers volum og tonefall, så vel som den bredere konteksten til samtalen. Av de millioner av minutter med samtaler vi måtte transkribere hver dag, på tvers av forskjellige språk, ville bare en svært liten prosentandel muligens høres ut som noe upassende. Og etter hvert som vi fortsetter å skalere, vil det systemet kreve mer og mer datakraft for å følge med. Så vi så nærmere på hvordan vi kunne gjøre dette mer effektivt, ved å bygge en pipeline som går direkte fra direkte lyd til merking av innhold for å indikere om det bryter retningslinjene våre eller ikke.

Til syvende og sist var vi i stand til å bygge et egendefinert stemmedeteksjonssystem ved å bruke ASR til å klassifisere våre interne taledatasett, og deretter bruke de klassifiserte stemmedataene til å trene systemet. Mer spesifikt, for å trene dette nye systemet, begynner vi med lyd og lager en transkripsjon. Vi kjører deretter transkripsjonen gjennom vårt Roblox-tekstfiltersystem for å klassifisere lyden. Dette tekstfiltersystemet er ypperlig til å oppdage språk som bryter med retningslinjene på Roblox siden vi har optimert det samme filtersystemet i årevis på Roblox-spesifikk slang, forkortelser og lingo. På slutten av disse treningslagene har vi en modell som er i stand til å oppdage brudd på retningslinjene direkte fra lyd i sanntid.

Selv om dette systemet har muligheten til å oppdage spesifikke søkeord som banning, er brudd på retningslinjene sjelden bare ett ord. Ett ord kan ofte virke problematisk i én sammenheng og helt greit i en annen sammenheng. I hovedsak involverer denne typen krenkelser hva du sier, hvordan du sier det og konteksten som uttalelsene er laget i.

For å bli bedre til å forstå kontekst, utnytter vi den opprinnelige kraften til en transformatorbasert arkitektur, som er veldig god på sekvensoppsummering. Det kan ta en sekvens med data, som en lydstrøm, og oppsummere det for deg. Denne arkitekturen gjør oss i stand til å bevare en lengre lydsekvens slik at vi ikke bare kan oppdage ord, men også kontekst og intonasjoner. Når alle disse elementene kommer sammen, har vi et endelig system der inngangen er lyd og utgangen er en klassifisering – bryter med retningslinjer eller ikke. Dette systemet kan oppdage søkeord og setninger som bryter retningslinjene, men også tone, følelser og annen kontekst som er viktig for å avgjøre intensjonen. Dette nye systemet, som oppdager tale som bryter med retningslinjene direkte fra lyd, er betydelig mer dataeffektivt enn et tradisjonelt ASR-system, noe som vil gjøre det mye enklere å skalere når vi fortsetter å tenke nytt om hvordan mennesker kommer sammen.

Vi trengte også en ny måte å advare de på våre stemmekommunikasjonsverktøy om de potensielle konsekvensene av denne typen språk. Med dette innovative deteksjonssystemet til vår disposisjon, eksperimenterer vi nå med måter å påvirke nettadferd for å opprettholde et trygt miljø. Vi vet at folk noen ganger bryter retningslinjene våre utilsiktet, og vi ønsker å forstå om en sporadisk påminnelse kan bidra til å forhindre ytterligere lovbrudd. For å hjelpe med dette, eksperimenterer vi med tilbakemeldinger fra brukere i sanntid gjennom varsler. Hvis systemet oppdager at du har sagt noe som bryter retningslinjene våre noen ganger, viser vi et popup-varsel på skjermen din som informerer deg om at språket ditt bryter retningslinjene våre, og leder deg til retningslinjene våre for mer informasjon.

Talestrømvarsler er imidlertid bare ett element i modereringssystemet. Vi ser også på atferdsmønstre på plattformen, så vel som klager fra andre på Roblox, for å drive våre generelle moderasjonsbeslutninger. Samlingen av disse signalene kan føre til sterkere konsekvenser, inkludert å få tilgang til lydfunksjoner tilbakekalt, eller for mer alvorlige overtredelser, bli utestengt fra plattformen. Å holde samfunnet vårt trygt og sivilt er avgjørende ettersom disse fremskrittene innen multimodale AI-modeller, generativ AI og LLM-er kommer sammen for å muliggjøre utrolige nye verktøy og evner for skapere. 

Vi tror at å gi skapere disse verktøyene både vil senke adgangsbarrieren for mindre erfarne skapere og frigjøre mer erfarne skapere fra de mer kjedelige oppgavene i denne prosessen. Dette vil tillate dem å bruke mer tid på de oppfinnsomme aspektene ved finjustering og ideer. Målet vårt med alt dette er å gjøre det mulig for alle, overalt, å bringe ideene sine ut i livet og å øke mangfoldet av avatarer, gjenstander og opplevelser som er tilgjengelige på Roblox enormt. Det er vi også dele informasjon og verktøy for å beskytte nye kreasjoner. 

Vi ser allerede for oss fantastiske muligheter: Si at noen er i stand til å lage en avatar-doppelganger direkte fra et bilde, de kan deretter tilpasse avataren sin for å gjøre dem høyere eller gjengi dem i anime-stil. Eller de kan bygge en opplevelse ved å be assistenten legge til biler, bygninger og natur, angi lys- eller vindforhold eller endre terrenget. Derfra kunne de gjenta for å avgrense ting bare ved å skrive frem og tilbake med Assistant. Vi vet at virkeligheten av hva folk lager med disse verktøyene, når de blir tilgjengelige, vil gå langt utover det vi til og med kan forestille oss.

Tidstempel:

Mer fra Roblox