Revolutionaire creatie op Roblox met generatieve AI - Roblox Blog

Een revolutie teweegbrengen in de creatie op Roblox met generatieve AI – Roblox Blog

Tijdstempel: 11 september 2023 12:17 uur
Bronknooppunt: 2874293

Eerder dit jaar deelden we onze visie voor generatieve kunstmatige intelligentie (AI) op Roblox en de intuïtieve nieuwe tools waarmee elke gebruiker een schepper kan worden. Omdat deze tools snel evolueren in de sector, wilde ik enkele updates geven over de vooruitgang die we hebben geboekt, de weg die nog in het verschiet ligt om de creatie van generatieve AI te democratiseren, en waarom we denken dat generatieve AI een cruciaal element is voor waar Roblox naartoe gaat. 

Vooruitgang op het gebied van generatieve AI en grote taalmodellen (LLM's) bieden een ongelooflijke kans om de toekomst van meeslepende ervaringen te ontsluiten door eenvoudiger en sneller creatie mogelijk te maken met behoud van de veiligheid en zonder dat daarvoor enorme computerbronnen nodig zijn. Verder openen de ontwikkelingen op het gebied van AI-modellen die multimodaal zijn, wat betekent dat ze worden getraind met meerdere soorten inhoud, zoals afbeeldingen, code, tekst, 3D-modellen en audio, de deur voor nieuwe ontwikkelingen op het gebied van creatietools. Deze zelfde modellen beginnen ook multimodale outputs te produceren, zoals een model dat een tekstoutput kan creëren, evenals enkele visuele elementen die de tekst aanvullen. We zien deze AI-doorbraken als een enorme kans om tegelijkertijd de efficiëntie voor meer ervaren makers te vergroten en om nog meer mensen in staat te stellen geweldige ideeën tot leven te brengen op Roblox. Bij dit jaar Roblox-ontwikkelaarsconferentie (RDC)hebben we verschillende nieuwe tools aangekondigd die generatieve AI naar Roblox Studio en daarbuiten zullen brengen om iedereen op Roblox te helpen sneller te schalen, sneller te itereren en hun vaardigheden te vergroten om nog betere inhoud te creëren. 

Roblox-assistent

Roblox heeft makers altijd de tools geboden, diensten en ondersteuning ze moeten meeslepende 3D-ervaringen bouwen. Tegelijkertijd hebben we gezien dat onze makers generatieve en conversationele AI van derden zijn gaan gebruiken om hen te helpen creëren. Hoewel ze nuttig zijn om de werklast van de maker te verminderen, zijn deze kant-en-klare versies niet ontworpen voor end-to-end Roblox-workflows of getraind in Roblox-code, jargon en jargon. Dat betekent dat makers aanzienlijk extra werk moeten doen om deze versies te gebruiken om inhoud voor Roblox te maken. We hebben gewerkt aan manieren om de waarde van deze tools in Roblox Studio te brengen, en bij RDC deelden we een vroeg voorbeeld van Assistant.

Assistant is onze conversatie-AI waarmee makers van alle vaardigheidsniveaus aanzienlijk minder tijd kunnen besteden aan de alledaagse, repetitieve taken die bij het creëren betrokken zijn, en meer tijd aan hoogwaardige activiteiten, zoals verhalen, gameplay en ervaringsontwerp. Roblox bevindt zich in een unieke positie om dit conversationele AI-model te bouwen voor meeslepende 3D-werelden, dankzij onze toegang tot een groot aantal openbare 3D-modellen om op te trainen, ons vermogen om een ​​model te integreren met onze platform-API's en ons groeiende pakket innovatieve AI-oplossingen . Makers kunnen tekstprompts in natuurlijke taal gebruiken om scènes te creëren, 3D-modellen te bewerken en interactief gedrag op objecten toe te passen. De Assistent ondersteunt de drie fasen van het maken: leren, coderen en bouwen:

  • Aan het leren: Of een maker nu geheel nieuw is in het ontwikkelen op Roblox of een doorgewinterde veteraan is, Roblox Assistant helpt vragen op een breed scala aan oppervlakken te beantwoorden met behulp van natuurlijke taal. 
  • Codering: De assistent zal dieper ingaan op onze recente Code-assistentie hulpmiddel. Ontwikkelaars kunnen de Assistent bijvoorbeeld vragen om hun code te verbeteren, een codegedeelte uit te leggen, te helpen bij het opsporen van fouten en oplossingen voor te stellen voor code die niet goed werkt.
  • Gebouw: Assistant helpt makers snel nieuwe ideeën te prototypen. Een nieuwe maker kan bijvoorbeeld hele scènes genereren en verschillende versies uitproberen door simpelweg een prompt te typen als 'Voeg wat straatverlichting toe langs deze weg' of 'Maak een bos met verschillende soorten bomen. Voeg nu wat struiken en bloemen toe.”

Het werken met Assistant zal collaboratief, interactief en iteratief zijn, waardoor makers feedback kunnen geven en de Assistent kunnen laten werken om de juiste oplossing te bieden. Het zal zijn alsof u een deskundige maker als partner heeft, op wie u ideeën kunt uitwerken en ideeën kunt uitproberen totdat u de juiste oplossing hebt gevonden.

frameborder=”0″ allow=”versnellingsmeter; automatisch afspelen; klembord-schrijven; versleutelde media; gyroscoop; foto in foto; web-share” allowfullscreen>

Om van Assistant de beste partner te maken die het kan zijn, hebben we nog een aankondiging gedaan op RDC: we hebben ontwikkelaars uitgenodigd opt-in om hun geanonimiseerde Luau-scriptgegevens bij te dragen. Deze scriptgegevens zullen ervoor zorgen dat onze AI-tools, zoals Code Assist en Assistant, aanzienlijk beter zijn in het voorstellen en creëren van efficiëntere code, en iets teruggeven aan de Roblox-ontwikkelaars die ze gebruiken. Als ontwikkelaars ervoor kiezen om verder te delen dan Roblox, zullen hun scriptgegevens worden toegevoegd aan een dataset die beschikbaar wordt gesteld aan derden om hun AI-chattools te trainen om beter Luau-code voor te stellen en terug te geven aan Luau-ontwikkelaars overal ter wereld.

Voor alle duidelijkheid: door middel van uitgebreid gebruikersonderzoek en transparante gesprekken met topontwikkelaars hebben we dit ontworpen als opt-in en zullen we ervoor zorgen dat alle deelnemers begrijpen en ermee instemmen wat het programma inhoudt. Als dank aan degenen die ervoor kiezen om deel te nemen aan het delen van scriptgegevens met Roblox, zullen we toegang verlenen tot de krachtigere versies van Assistant en Code Assist die worden aangedreven door dit door de gemeenschap getrainde model. Degenen die zich niet hebben aangemeld, blijven toegang houden tot onze bestaande versie van Assistant en Code Assist.

Gemakkelijker avatarcreatie 

Uiteindelijk willen we dat elk van onze 65.5 miljoen dagelijkse gebruikers een avatar heeft die hen echt vertegenwoordigt en uitdrukt wie ze zijn. We hebben onlangs de mogelijkheid vrijgegeven voor onze UGC-programmaleden om creëer en verkoop zowel avatarlichamen als zelfstandige hoofden. Tegenwoordig vereist dat proces toegang tot Studio of ons UGC-programma, een vrij hoog vaardigheidsniveau en meerdere dagen werk om gezichtsuitdrukking, lichaamsbeweging, 3D-rigging, enz. mogelijk te maken. Dit maakt het maken van avatars tijdrovend en moet datum, beperkt het aantal beschikbare opties. Wij willen nog verder gaan.

Om ervoor te zorgen dat iedereen op Roblox een gepersonaliseerde, expressieve avatar kan hebben, moeten we het heel gemakkelijk maken om avatars te genereren en aan te passen. Bij RDC hebben we een nieuwe tool aangekondigd die we in 2024 uitbrengen en waarmee je eenvoudig een aangepaste avatar kunt maken op basis van een afbeelding of meerdere afbeeldingen. Met deze tool kan elke maker met toegang tot Studio of ons UGC-programma een afbeelding uploaden, een avatar voor hem laten maken en deze vervolgens naar wens aanpassen. Op langere termijn zijn we van plan dit ook rechtstreeks beschikbaar te maken binnen ervaringen op Roblox.

Om dit mogelijk te maken, trainen we AI-modellen op het avatarschema van Roblox en een reeks 3D-avatarmodellen van Roblox. Eén aanpak werkt onderzoek voor het genereren van 3D-gestileerde avatars uit 2D-afbeeldingen. We kijken ook naar het gebruik van vooraf getrainde tekst-naar-beeld-diffusiemodellen om beperkte 3D-trainingsgegevens uit te breiden met 2D-generatieve technieken, en naar het gebruik van een op generatief vijandig netwerk (GAN) gebaseerd 3D-generatienetwerk voor training. Tenslotte zijn we bezig met het gebruik ervan ControleNet om vooraf gedefinieerde poses aan te brengen om de resulterende multi-view-afbeeldingen van de avatars te begeleiden. 

Dit proces produceert een 3D-mesh voor de avatar. Vervolgens maken we gebruik van 3D semantisch segmentatieonderzoek, getraind in 3D-avatar-poses, om dat 3D-gaas te nemen en aan te passen om geschikte gelaatstrekken, kooien, tuigage en texturen toe te voegen, waardoor het statische 3D-gaas in wezen een Roblox-avatar wordt. Ten slotte stelt een mesh-bewerkingstool gebruikers in staat het model te morphen en aan te passen, zodat het meer lijkt op de versie die ze zich voorstellen. En dit alles gebeurt snel – binnen enkele minuten – en genereert een nieuwe avatar die in Roblox kan worden geïmporteerd en in een ervaring kan worden gebruikt.

frameborder=”0″ allow=”versnellingsmeter; automatisch afspelen; klembord-schrijven; versleutelde media; gyroscoop; foto in foto; web-share” allowfullscreen>

Stemcommunicatie modereren

AI gaat voor ons niet alleen over creatie, het is ook een veel efficiënter systeem om op grote schaal een diverse, veilige en beschaafde gemeenschap te garanderen. Nu we beginnen met het uitrollen van nieuwe spraakfuncties, waaronder voicechat en Roblox Connect, de nieuwe functie voor bellen als je avatar en API's die zijn aangekondigd op RDC, staan ​​we voor een nieuwe uitdaging: het modereren van gesproken taal in realtime. De huidige industriestandaard hiervoor is een proces dat bekend staat als Automatic Speech Recognition (ASR), waarbij in wezen een audiobestand wordt genomen, getranscribeerd om het in tekst om te zetten en vervolgens de tekst wordt geanalyseerd om te zoeken naar ongepast taalgebruik, trefwoorden, enz. 

Dit werkt goed voor bedrijven die het op kleinere schaal gebruiken, maar toen we onderzochten hoe we ditzelfde ASR-proces konden gebruiken om spraakcommunicatie te modereren, beseften we al snel dat dit op onze schaal moeilijk en inefficiënt is. Deze aanpak gaat ook ongelooflijk waardevolle informatie verloren die is gecodeerd in het volume en de toon van de stem van de spreker, evenals in de bredere context van het gesprek. Van de miljoenen minuten aan gesprekken die we elke dag in verschillende talen zouden moeten transcriberen, zou slechts een heel klein percentage zelfs als iets ongepasts kunnen klinken. En naarmate we blijven opschalen, zou dat systeem steeds meer rekenkracht nodig hebben om bij te blijven. Daarom hebben we nader bekeken hoe we dit efficiënter kunnen doen, door een pijplijn te bouwen die rechtstreeks van de live audio naar het labelen van inhoud gaat om aan te geven of deze in strijd is met ons beleid of niet.

Uiteindelijk konden we een intern aangepast stemdetectiesysteem bouwen door ASR te gebruiken om onze interne stemgegevenssets te classificeren en vervolgens die geclassificeerde stemgegevens te gebruiken om het systeem te trainen. Om dit nieuwe systeem te trainen, beginnen we specifieker met audio en maken we een transcriptie. Vervolgens voeren we het transcript door ons Roblox-tekstfiltersysteem om de audio te classificeren. Dit tekstfiltersysteem is geweldig in het detecteren van beleidschendend taalgebruik op Roblox, omdat we ditzelfde filtersysteem al jaren optimaliseren voor Roblox-specifiek jargon, afkortingen en jargon. Aan het einde van deze trainingslagen hebben we een model dat beleidsschendingen rechtstreeks in realtime via audio kan detecteren.

Hoewel dit systeem specifieke trefwoorden zoals godslastering kan detecteren, bestaan ​​beleidsschendingen zelden uit slechts één woord. Eén woord kan vaak problematisch lijken in de ene context en prima in een andere context. In essentie gaat het bij dit soort overtredingen om wat u zegt, hoe u het zegt en de context waarin de uitspraken worden gedaan.

Om de context beter te begrijpen, maken we gebruik van de oorspronkelijke kracht van een op transformatoren gebaseerde architectuur, die erg goed is in het samenvatten van reeksen. Er kan een reeks gegevens nodig zijn, zoals een audiostream, en deze voor u worden samengevat. Deze architectuur stelt ons in staat een langere audioreeks te behouden, zodat we niet alleen woorden maar ook context en intonaties kunnen detecteren. Zodra al deze elementen samenkomen, hebben we een definitief systeem waarbij de input audio is en de output een classificatie is: al dan niet in strijd met het beleid. Dit systeem kan trefwoorden en beleidsschendingen detecteren, maar ook toon, sentiment en andere context die belangrijk is om de intentie te bepalen. Dit nieuwe systeem, dat beleidsschendende spraak rechtstreeks uit audio detecteert, is aanzienlijk computerefficiënter dan een traditioneel ASR-systeem, waardoor het veel gemakkelijker kan worden geschaald naarmate we ons blijven heruitvinden hoe mensen samenkomen.

We hadden ook een nieuwe manier nodig om degenen die gebruik maken van onze stemcommunicatiemiddelen te waarschuwen voor de mogelijke gevolgen van dit soort taalgebruik. Met dit innovatieve detectiesysteem tot onze beschikking experimenteren we nu met manieren om online gedrag te beïnvloeden om een ​​veilige omgeving te behouden. We weten dat mensen ons beleid soms onbedoeld schenden en we willen graag begrijpen of een incidentele herinnering verdere overtredingen kan helpen voorkomen. Om hierbij te helpen, experimenteren we met realtime gebruikersfeedback via meldingen. Als het systeem detecteert dat u een aantal keren iets heeft gezegd dat in strijd is met ons beleid, geven we een pop-upmelding op uw scherm weer waarin u wordt geïnformeerd dat uw taalgebruik in strijd is met ons beleid en wordt u naar ons beleid verwezen voor meer informatie.

Spraakstreammeldingen zijn echter slechts één onderdeel van het moderatiesysteem. We kijken ook naar gedragspatronen op het platform, evenals naar klachten van anderen op Roblox, om onze algemene moderatiebeslissingen te bepalen. Het geheel van deze signalen zou kunnen resulteren in sterkere gevolgen, waaronder het intrekken van de toegang tot audiofuncties, of bij ernstiger overtredingen, het volledig verbannen van het platform. Het veilig en beschaafd houden van onze gemeenschap is van cruciaal belang omdat deze vooruitgang in multimodale AI-modellen, generatieve AI en LLM's samenkomen om ongelooflijke nieuwe tools en mogelijkheden voor makers mogelijk te maken. 

Wij zijn van mening dat het aanbieden van deze tools aan makers zowel de toetredingsdrempel voor minder ervaren makers zal verlagen als meer ervaren makers zal bevrijden van de lastigere taken van dit proces. Hierdoor kunnen ze meer tijd besteden aan de inventieve aspecten van het afstemmen en bedenken van ideeën. Ons doel met dit alles is om iedereen, waar dan ook, in staat te stellen hun ideeën tot leven te brengen en de diversiteit aan avatars, items en ervaringen die beschikbaar zijn op Roblox enorm te vergroten. Wij zijn ook het delen van informatie en hulpmiddelen om nieuwe creaties te helpen beschermen. 

We stellen ons al verbazingwekkende mogelijkheden voor: stel dat iemand rechtstreeks van een foto een avatar-dubbelganger kan maken, dan kan hij zijn avatar aanpassen om hem groter te maken of hem in anime-stijl weer te geven. Of ze kunnen een ervaring opbouwen door de Assistent te vragen auto's, gebouwen en landschappen toe te voegen, de licht- of windomstandigheden in te stellen of het terrein te veranderen. Van daaruit konden ze dingen verfijnen door gewoon heen en weer te typen met de Assistent. We weten dat de realiteit van wat mensen met deze tools creëren, zodra ze beschikbaar komen, veel verder zal gaan dan we ons zelfs maar kunnen voorstellen.

Tijdstempel:

Meer van roblox