Inside the Tech - Solving for Safety in Immersive Voice Communication - Roblox Blog

Inside the Tech – Solving for Safety in Immersive Voice Communication – Roblox Blog

Tidsstämpel: 18 januari 2024 4:44
Källnod: 3070360

Inside the Tech är en bloggserie som följer med vår Tech Talks Podcast. I avsnitt 20 av podcasten, The Evolution of Roblox Avatars, pratade Roblox VD David Baszucki med Senior Director of Engineering Kiran Bhat, Senior Director of Product Mahesh Ramasubramanian, och Principal Product Manager Effie Goenawan, om framtiden för uppslukande kommunikation genom avatarer och de tekniska utmaningarna vi löser för att driva det. I den här utgåvan av Inside the Tech pratade vi med Senior Engineering Manager Andrew Portner för att lära oss mer om en av dessa tekniska utmaningar, säkerhet i uppslukande röstkommunikation och hur teamets arbete hjälper till att främja en säker och civil digital miljö för alla på vår plattform.

Vilka är de största tekniska utmaningarna som ditt team antar?

Vi prioriterar att upprätthålla en säker och positiv upplevelse för våra användare. Säkerhet och artighet är alltid top of mind för oss, men att hantera det i realtid kan vara en stor teknisk utmaning. När det finns ett problem vill vi kunna granska det och vidta åtgärder i realtid, men detta är utmanande med tanke på vår omfattning. För att hantera denna omfattning effektivt måste vi utnyttja automatiserade säkerhetssystem. 

En annan teknisk utmaning som vi fokuserar på är noggrannheten i våra säkerhetsåtgärder för moderering. Det finns två modereringsmetoder för att hantera policyöverträdelser och ge korrekt feedback i realtid: reaktiv och proaktiv moderering. För reaktiv moderering utvecklar vi modeller för maskininlärning (ML) för att exakt identifiera olika typer av policyöverträdelser, som fungerar genom att svara på rapporter från personer på plattformen. Proaktivt arbetar vi med att upptäcka potential i realtid innehåll som bryter mot våra policyer, utbilda användare om deras beteende. Att förstå det talade ordet och förbättra ljudkvaliteten är en komplex process. Vi ser redan framsteg, men vårt slutmål är att ha en mycket exakt modell som kan upptäcka policyöverträdande beteende i realtid. 

Vilka är några av de innovativa tillvägagångssätt och lösningar vi använder för att tackla dessa tekniska utmaningar?

Vi har utvecklat en heltäckande ML-modell som kan analysera ljuddata och ger en konfidensnivå baserat på typen av policyöverträdelser (t.ex. hur sannolikt är denna mobbning, svordomar, etc.). Denna modell har avsevärt förbättrat vår förmåga att automatiskt stänga vissa rapporter. Vi vidtar åtgärder när vår modell är säker och kan vara säkra på att den överträffar människor. Inom bara en handfull månader efter lanseringen kunde vi moderera nästan alla engelska röstmissbruksrapporter med denna modell. Vi har utvecklat dessa modeller internt och det är ett bevis på samarbetet mellan många tekniker med öppen källkod och vårt eget arbete med att skapa tekniken bakom. 

Att avgöra vad som är lämpligt i realtid verkar ganska komplicerat. Hur fungerar det?

Det har lagts mycket tanke på att göra systemet kontextmedvetet. Vi tittar också på mönster över tid innan vi vidtar åtgärder så att vi kan vara säkra på att våra handlingar är berättigade. Våra policyer är nyanserade beroende på en persons ålder, om de är i ett offentligt utrymme eller en privat chatt och många andra faktorer. Vi utforskar nya sätt att främja hövlighet i realtid och ML är kärnan i det. Vi lanserade nyligen automatiska push-meddelanden (eller "nudgar") för att påminna användare om våra policyer. Vi undersöker också andra faktorer som tonfall för att bättre förstå en persons avsikter och särskilja saker som sarkasm eller skämt. Slutligen bygger vi också en flerspråkig modell eftersom vissa människor talar flera språk eller till och med byter språk mitt i meningen. För att något av detta ska vara möjligt måste vi ha en korrekt modell. 

För närvarande fokuserar vi på att ta itu med de mest framträdande formerna av övergrepp, såsom trakasserier, diskriminering och svordomar. Dessa utgör majoriteten av anmälningarna om övergrepp. Vårt mål är att ha en betydande inverkan på dessa områden och sätta branschnormer för hur främjande och upprätthållande av en civil onlinekonversation ser ut. Vi är glada över potentialen med att använda ML i realtid, eftersom det gör det möjligt för oss att effektivt främja en säker och civil upplevelse för alla. 

Hur är utmaningarna vi löser på Roblox unika? Vad är vi i stånd att lösa först?

Vår Chatta med Spatial Voice teknik skapar en mer uppslukande upplevelse som efterliknar verklig kommunikation. Till exempel, om jag står till vänster om någon, kommer de att höra mig i sitt vänstra öra. Vi skapar en analog till hur kommunikation fungerar i den verkliga världen och det här är en utmaning som vi är i stånd att lösa först. 

Som en spelare själv har jag sett många trakasserier och mobbning i onlinespel. Det är ett problem som ofta går okontrollerat på grund av användarens anonymitet och brist på konsekvenser. De tekniska utmaningarna som vi tar oss an kring detta är dock unika för vad andra plattformar står inför på ett par områden. På vissa spelplattformar är interaktioner begränsade till lagkamrater. Roblox erbjuder en mängd olika sätt att umgås i en social miljö som mer efterliknar det verkliga livet. Med framsteg inom ML och signalbehandling i realtid kan vi effektivt upptäcka och ta itu med kränkande beteende, vilket innebär att vi inte bara är en mer realistisk miljö, utan också en där alla känner sig trygga att interagera och få kontakt med andra. Kombinationen av vår teknik, vår uppslukande plattform och vårt engagemang för att utbilda användare om våra policyer gör att vi kan hantera dessa utmaningar direkt.

Vilka är några av de viktigaste sakerna som du har lärt dig av det här tekniska arbetet?

Jag känner att jag har lärt mig en hel del. Jag är ingen ML-ingenjör. Jag har arbetat mest på fronten inom spel, så att bara kunna gå djupare än vad jag har gjort om hur dessa modeller fungerar har varit enormt. Min förhoppning är att de åtgärder vi vidtar för att främja hövlighet översätts till en nivå av empati i onlinegemenskapen som har saknats.  

En sista lärdom är att allt beror på träningsdata du lägger in. Och för att data ska vara korrekt måste människor komma överens om etiketterna som används för att kategorisera vissa policyöverträdande beteenden. Det är verkligen viktigt att träna på kvalitetsdata som alla kan vara överens om. Det är ett riktigt svårt problem att lösa. Du börjar se områden där ML ligger långt före allt annat, och sedan andra områden där det fortfarande är i ett tidigt skede. Det finns fortfarande många områden där ML fortfarande växer, så att vara medveten om dess nuvarande gränser är nyckeln. 

Vilket Roblox-värde följer ditt team mest?

Att respektera samhället är vårt ledstjärna under hela denna process. Först måste vi fokusera på att förbättra artigheten och minska policyöverträdelser på vår plattform. Detta har en betydande inverkan på den övergripande användarupplevelsen. För det andra måste vi noga överväga hur vi rullar ut dessa nya funktioner. Vi måste vara uppmärksamma på falska positiva resultat (t.ex. att felaktigt markera något som missbruk) i modellen och undvika att felaktigt bestraffa användare. Att övervaka våra modellers prestanda och deras inverkan på användarens engagemang är avgörande. 

Vad upphetsar dig mest med vart Roblox och ditt team är på väg?

Vi har gjort betydande framsteg när det gäller att förbättra offentlig röstkommunikation, men det finns fortfarande mycket mer att göra. Privat kommunikation är ett spännande område att utforska. Jag tror att det finns en enorm möjlighet att förbättra privat kommunikation, att tillåta användare att uttrycka sig till nära vänner, att ha ett röstsamtal som går över upplevelser eller under en upplevelse medan de interagerar med sina vänner. Jag tror att det också finns en möjlighet att främja dessa gemenskaper med bättre verktyg för att göra det möjligt för användare att självorganisera, gå med i gemenskaper, dela innehåll och dela idéer.

När vi fortsätter att växa, hur skalar vi vår chattteknik för att stödja dessa växande samhällen? Vi skrapar bara på ytan på mycket av det vi kan göra, och jag tror att det finns en chans att förbättra vänligheten i onlinekommunikation och samarbete över branschen på ett sätt som inte har gjorts tidigare. Med rätt teknik och ML-kapacitet är vi i en unik position för att forma framtiden för civil onlinekommunikation.

Tidsstämpel:

Mer från Roblox