Inside The Tech - Løsning for sikkerhed i fordybende stemmekommunikation - Roblox Blog

Genudgivet af Platon

Abonnenter: 0

Inside the Tech er en blogserie, der ledsager vores Tech Talks Podcast. I episode 20 af podcasten, The Evolution of Roblox Avatars, talte Roblox CEO David Baszucki med Senior Director of Engineering Kiran Bhat, Senior Director for Product Mahesh Ramasubramanian, og Principal Product Manager Effie Goenawan, om fremtiden for fordybende kommunikation gennem avatarer og de tekniske udfordringer, vi løser for at drive det. I denne udgave af Inside the Tech talte vi med Senior Engineering Manager Andrew Portner for at lære mere om en af disse tekniske udfordringer, sikkerhed i fordybende stemmekommunikation, og hvordan teamets arbejde hjælper med at fremme et sikkert og civilt digitalt miljø for alle på vores platform.

Hvad er de største tekniske udfordringer dit team påtager sig?

Vi prioriterer at opretholde en sikker og positiv oplevelse for vores brugere. Sikkerhed og høflighed er altid top of mind for os, men at håndtere det i realtid kan være en stor teknisk udfordring. Når der er et problem, vil vi gerne være i stand til at gennemgå det og handle i realtid, men det er udfordrende i betragtning af vores omfang. For at håndtere denne skala effektivt er vi nødt til at udnytte automatiserede sikkerhedssystemer.

En anden teknisk udfordring, som vi fokuserer på, er nøjagtigheden af vores sikkerhedsforanstaltninger til moderation. Der er to modereringstilgange til at håndtere politikovertrædelser og give nøjagtig feedback i realtid: reaktiv og proaktiv moderering. Til reaktiv moderering udvikler vi modeller for maskinlæring (ML) til nøjagtigt at identificere forskellige typer af politikovertrædelser, som fungerer ved at reagere på rapporter fra personer på platformen. Proaktivt arbejder vi på realtidsdetektion af potentiale indhold, der overtræder vores politikker, underviser brugere om deres adfærd. At forstå det talte ord og forbedre lydkvaliteten er en kompleks proces. Vi ser allerede fremskridt, men vores ultimative mål er at have en meget præcis model, der kan opdage politikovertrædende adfærd i realtid.

Hvad er nogle af de innovative tilgange og løsninger, vi bruger til at tackle disse tekniske udfordringer?

Vi har udviklet en end-to-end ML-model, der kan analysere lyddata og giver et tillidsniveau baseret på typen af politikovertrædelser (f.eks. hvor sandsynligt er denne mobning, bandeord osv.). Denne model har væsentligt forbedret vores evne til automatisk at lukke visse rapporter. Vi handler, når vores model er sikker og kan være sikker på, at den overgår mennesker. Inden for blot en håndfuld måneder efter lanceringen var vi i stand til at moderere næsten alle engelske stemmemisbrugsrapporter med denne model. Vi har udviklet disse modeller internt, og det er et vidnesbyrd om samarbejdet mellem en masse open source-teknologier og vores eget arbejde med at skabe teknologien bag.

At bestemme, hvad der er passende i realtid, virker ret komplekst. Hvordan virker det?

Der er lagt mange tanker i at gøre systemet kontekstuelt bevidst. Vi ser også på mønstre over tid, før vi sætter ind, så vi kan være sikre på, at vores handlinger er berettigede. Vores politikker er nuanceret afhængigt af en persons alder, om de er i et offentligt rum eller en privat chat og mange andre faktorer. Vi udforsker nye måder at fremme høflighed i realtid, og ML er kernen i det. Vi lancerede for nylig automatiserede push-meddelelser (eller "nudges") for at minde brugerne om vores politikker. Vi undersøger også andre faktorer som tonefald for bedre at forstå en persons hensigter og skelne mellem ting som sarkasme eller vittigheder. Til sidst bygger vi også en flersproget model, da nogle mennesker taler flere sprog eller endda skifter sprog midt i sætningen. For at noget af dette skal være muligt, skal vi have en nøjagtig model.

I øjeblikket er vi fokuseret på at tage fat på de mest fremtrædende former for misbrug, såsom chikane, diskrimination og bandeord. Disse udgør størstedelen af misbrugsrapporter. Vores mål er at have en betydelig indflydelse på disse områder og sætte branchenormerne for, hvordan promovering og vedligeholdelse af en civil online samtale ser ud. Vi er begejstrede for potentialet ved at bruge ML i realtid, da det sætter os i stand til effektivt at fremme en sikker og civil oplevelse for alle.

Hvordan er de udfordringer, vi løser hos Roblox, unikke? Hvad er vi i stand til at løse først?

Vores Chat med Spatial Voice teknologi skaber en mere fordybende oplevelse, der efterligner kommunikation i den virkelige verden. For eksempel, hvis jeg står til venstre for nogen, vil de høre mig i deres venstre øre. Vi er ved at skabe en analog til, hvordan kommunikation fungerer i den virkelige verden, og det er en udfordring, vi er i stand til at løse først.

Som gamer har jeg selv været vidne til en masse chikane og mobning i onlinespil. Det er et problem, der ofte forsvinder på grund af brugeranonymitet og manglende konsekvenser. Men de tekniske udfordringer, som vi tackler omkring dette, er unikke for, hvad andre platforme står over for på et par områder. På nogle spilplatforme er interaktioner begrænset til holdkammerater. Roblox tilbyder en række måder at hænge ud på i et socialt miljø, der i højere grad efterligner det virkelige liv. Med fremskridt inden for ML og signalbehandling i realtid er vi i stand til effektivt at opdage og adressere misbrug, hvilket betyder, at vi ikke kun er et mere realistisk miljø, men også et miljø, hvor alle føler sig trygge ved at interagere og forbinde med andre. Kombinationen af vores teknologi, vores fordybende platform og vores forpligtelse til at oplyse brugerne om vores politikker sætter os i stand til at tackle disse udfordringer direkte.

Hvad er nogle af de vigtigste ting, du har lært af at udføre dette tekniske arbejde?

Jeg føler, at jeg har lært en hel del. Jeg er ikke ML-ingeniør. Jeg har for det meste arbejdet på frontend inden for gaming, så bare at kunne gå dybere, end jeg har gjort, om, hvordan disse modeller fungerer, har været enormt. Mit håb er, at de handlinger, vi tager for at fremme høflighed, oversættes til et niveau af empati i onlinefællesskabet, som har manglet.

En sidste læring er, at alt afhænger af de træningsdata, du indsætter. Og for at dataene skal være nøjagtige, skal mennesker være enige om, hvilke etiketter der bruges til at kategorisere visse politikovertrædende adfærd. Det er virkelig vigtigt at træne på kvalitetsdata, som alle kan blive enige om. Det er et rigtig svært problem at løse. Du begynder at se områder, hvor ML er langt foran alt andet, og så andre områder, hvor det stadig er i de tidlige stadier. Der er stadig mange områder, hvor ML stadig vokser, så det er vigtigt at være bevidst om dens nuværende grænser.

Hvilken Roblox-værdi er dit hold mest på linje med?

Respekt for fællesskabet er vores vejledende værdi gennem hele denne proces. For det første skal vi fokusere på at forbedre høflighed og reducere overtrædelser af politikker på vores platform. Dette har en væsentlig indflydelse på den samlede brugeroplevelse. For det andet skal vi nøje overveje, hvordan vi udruller disse nye funktioner. Vi skal være opmærksomme på falske positiver (f.eks. forkert markering af noget som misbrug) i modellen og undgå at straffe brugerne forkert. Overvågning af vores modellers ydeevne og deres indflydelse på brugerengagement er afgørende.

Hvad ophidser dig mest ved, hvor Roblox og dit team er på vej hen?

Vi har gjort betydelige fremskridt med at forbedre den offentlige stemmekommunikation, men der er stadig meget mere at gøre. Privat kommunikation er et spændende område at udforske. Jeg tror, der er en enorm mulighed for at forbedre privat kommunikation, for at give brugere mulighed for at udtrykke sig til nære venner, for at få et taleopkald på tværs af oplevelser eller under en oplevelse, mens de interagerer med deres venner. Jeg tror, der også er en mulighed for at fremme disse fællesskaber med bedre værktøjer til at gøre det muligt for brugere at organisere sig selv, deltage i fællesskaber, dele indhold og dele ideer.

Når vi fortsætter med at vokse, hvordan skalerer vi vores chatteknologi for at understøtte disse ekspanderende fællesskaber? Vi ridser bare i overfladen på meget af det, vi kan gøre, og jeg tror, der er en chance for at forbedre høfligheden af online kommunikation og samarbejde på tværs af branchen på en måde, som ikke er blevet gjort før. Med den rigtige teknologi og ML-kapaciteter er vi i en unik position til at forme fremtiden for civil onlinekommunikation.