Inside the Tech - Solving for Safety in Immersive Voice Communication - Roblox Blog

Inside the Tech – Solving for Safety in Immersive Voice Communication – Roblox Blog

Tidsstempel: 18. januar 2024 4:44
Kilde node: 3070360

Inside the Tech er en bloggserie som følger med vår Tech Talks Podcast. I episode 20 av podcasten, The Evolution of Roblox Avatars, snakket Roblox-sjef David Baszucki med Senior Director of Engineering Kiran Bhat, Senior Director of Product Mahesh Ramasubramanian, og hovedproduktsjef Effie Goenawan, om fremtiden for oppslukende kommunikasjon gjennom avatarer og de tekniske utfordringene vi løser for å drive den. I denne utgaven av Inside the Tech snakket vi med Senior Engineering Manager Andrew Portner for å lære mer om en av disse tekniske utfordringene, sikkerhet i oppslukende talekommunikasjon, og hvordan teamets arbeid bidrar til å fremme et trygt og sivilt digitalt miljø for alle på vår plattform.

Hva er de største tekniske utfordringene teamet ditt tar på seg?

Vi prioriterer å opprettholde en trygg og positiv opplevelse for brukerne våre. Trygghet og høflighet er alltid på topp for oss, men å håndtere det i sanntid kan være en stor teknisk utfordring. Når det er et problem, ønsker vi å kunne gjennomgå det og iverksette tiltak i sanntid, men dette er utfordrende gitt omfanget vårt. For å håndtere denne skalaen effektivt, må vi utnytte automatiserte sikkerhetssystemer. 

En annen teknisk utfordring som vi fokuserer på, er nøyaktigheten av sikkerhetstiltakene våre for moderering. Det er to modereringsmetoder for å håndtere brudd på retningslinjene og gi nøyaktig tilbakemelding i sanntid: reaktiv og proaktiv moderering. For reaktiv moderering utvikler vi modeller for maskinlæring (ML) for nøyaktig å identifisere ulike typer brudd på retningslinjene, som fungerer ved å svare på rapporter fra folk på plattformen. Proaktivt jobber vi med sanntidsdeteksjon av potensial innhold som bryter retningslinjene våre, opplæring av brukere om deres oppførsel. Å forstå det talte ordet og forbedre lydkvaliteten er en kompleks prosess. Vi ser allerede fremgang, men vårt endelige mål er å ha en svært presis modell som kan oppdage retningslinjebrudd i sanntid. 

Hva er noen av de innovative tilnærmingene og løsningene vi bruker for å takle disse tekniske utfordringene?

Vi har utviklet en ende-til-ende ML-modell som kan analysere lyddata og gir et tillitsnivå basert på typen brudd på retningslinjene (f.eks. hvor sannsynlig er denne mobbingen, banning osv.). Denne modellen har betydelig forbedret vår evne til å automatisk lukke visse rapporter. Vi tar grep når modellen vår er trygg og kan være sikker på at den overgår mennesker. I løpet av bare en håndfull måneder etter lansering var vi i stand til å moderere nesten alle engelske stemmemisbruksrapporter med denne modellen. Vi har utviklet disse modellene internt, og det er et bevis på samarbeidet mellom mange åpen kildekode-teknologier og vårt eget arbeid med å skape teknologien bak. 

Å bestemme hva som er passende i sanntid virker ganske komplisert. Hvordan fungerer det?

Det er lagt mye vekt på å gjøre systemet kontekstuelt bevisst. Vi ser også på mønstre over tid før vi tar grep, slik at vi kan være sikre på at våre handlinger er berettiget. Retningslinjene våre er nyanserte avhengig av en persons alder, enten de er i et offentlig rom eller en privat chat, og mange andre faktorer. Vi utforsker nye måter å fremme høflighet i sanntid og ML er kjernen i det. Vi lanserte nylig automatiserte push-varsler (eller "dytt") for å minne brukerne om retningslinjene våre. Vi ser også på andre faktorer som tonefall for å bedre forstå en persons intensjoner og skille mellom ting som sarkasme eller vitser. Til slutt bygger vi også en flerspråklig modell siden noen mennesker snakker flere språk eller til og med bytter språk midt i setningen. For at noe av dette skal være mulig, må vi ha en nøyaktig modell. 

For tiden fokuserer vi på å ta tak i de mest fremtredende formene for overgrep, som trakassering, diskriminering og banning. Disse utgjør de fleste overgrepsrapportene. Vårt mål er å ha en betydelig innvirkning på disse områdene og sette bransjenormene for hvordan fremme og vedlikehold av en sivil online samtale ser ut. Vi er begeistret for potensialet ved å bruke ML i sanntid, siden det gjør oss i stand til å effektivt fremme en trygg og sivil opplevelse for alle. 

Hvordan er utfordringene vi løser hos Roblox unike? Hva er vi i stand til å løse først?

Vår Chat med Spatial Voice teknologi skaper en mer oppslukende opplevelse, og etterligner kommunikasjon i den virkelige verden. For eksempel, hvis jeg står til venstre for noen, vil de høre meg på venstre øre. Vi lager en analog til hvordan kommunikasjon fungerer i den virkelige verden, og dette er en utfordring vi er i stand til å løse først. 

Som spiller selv har jeg vært vitne til mye trakassering og mobbing i nettspill. Det er et problem som ofte blir ukontrollert på grunn av brukeranonymitet og mangel på konsekvenser. Imidlertid er de tekniske utfordringene vi takler rundt dette unike for hva andre plattformer står overfor på et par områder. På noen spillplattformer er interaksjoner begrenset til lagkamerater. Roblox tilbyr en rekke måter å hangout på i et sosialt miljø som i større grad etterligner det virkelige liv. Med fremskritt innen ML og sanntidssignalbehandling, er vi i stand til effektivt å oppdage og adressere støtende atferd, noe som betyr at vi ikke bare er et mer realistisk miljø, men også et miljø der alle føler seg trygge til å samhandle og koble til andre. Kombinasjonen av teknologien vår, vår oppslukende plattform og vår forpliktelse til å utdanne brukere om retningslinjene våre, setter oss i en posisjon til å takle disse utfordringene på strak arm.

Hva er noen av de viktigste tingene du har lært av å gjøre dette tekniske arbeidet?

Jeg føler at jeg har lært mye. Jeg er ikke en ML-ingeniør. Jeg har jobbet mest på frontend innen spill, så bare det å kunne gå dypere enn jeg har gjort om hvordan disse modellene fungerer har vært enormt. Mitt håp er at handlingene vi tar for å fremme høflighet, oversettes til et nivå av empati i nettsamfunnet som har manglet.  

En siste læring er at alt avhenger av treningsdataene du legger inn. Og for at dataene skal være nøyaktige, må mennesker være enige om etikettene som brukes for å kategorisere visse retningslinjekrenkende atferd. Det er veldig viktig å trene på kvalitetsdata som alle kan være enige om. Det er et veldig vanskelig problem å løse. Du begynner å se områder hvor ML er langt foran alt annet, og deretter andre områder hvor det fortsatt er i de tidlige stadiene. Det er fortsatt mange områder hvor ML fortsatt vokser, så det er nøkkelen å være klar over gjeldende grenser. 

Hvilken Roblox-verdi er teamet ditt mest på linje med?

Å respektere fellesskapet er vår ledende verdi gjennom denne prosessen. For det første må vi fokusere på å forbedre høflighet og redusere brudd på retningslinjene på plattformen vår. Dette har en betydelig innvirkning på den generelle brukeropplevelsen. For det andre må vi nøye vurdere hvordan vi ruller ut disse nye funksjonene. Vi må være oppmerksomme på falske positiver (f.eks. feilmerking av noe som misbruk) i modellen og unngå å straffe brukere feil. Overvåking av ytelsen til modellene våre og deres innvirkning på brukerengasjement er avgjørende. 

Hva begeistrer deg mest om hvor Roblox og teamet ditt er på vei?

Vi har gjort betydelige fremskritt med å forbedre offentlig talekommunikasjon, men det er fortsatt mye mer å gjøre. Privat kommunikasjon er et spennende område å utforske. Jeg tror det er en enorm mulighet til å forbedre privat kommunikasjon, for å la brukere uttrykke seg til nære venner, ha en taleanrop på tvers av opplevelser eller under en opplevelse mens de samhandler med vennene sine. Jeg tror det også er en mulighet til å fremme disse fellesskapene med bedre verktøy for å gjøre det mulig for brukere å organisere seg selv, bli med i fellesskap, dele innhold og dele ideer.

Når vi fortsetter å vokse, hvordan skalerer vi chatteteknologien vår for å støtte disse ekspanderende fellesskapene? Vi skraper bare i overflaten på mye av det vi kan gjøre, og jeg tror det er en sjanse til å forbedre høfligheten til nettkommunikasjon og samarbeid på tvers av bransjen på en måte som ikke har blitt gjort før. Med riktig teknologi og ML-evner er vi i en unik posisjon til å forme fremtiden for sivil nettkommunikasjon.

Tidstempel:

Mer fra Roblox