Inside the Tech - Soluzioni per la sicurezza nella comunicazione vocale immersiva - Blog Roblox

Inside the Tech – Soluzioni per la sicurezza nella comunicazione vocale immersiva – Blog Roblox

Timestamp: 18 gennaio 2024 4:44
Nodo di origine: 3070360

Inside the Tech è una serie di blog che accompagna il nostro Podcast di colloqui tecnici. Nell'episodio 20 del podcast, L'evoluzione di Roblox Avatars, il CEO di Roblox David Baszucki ha parlato con il direttore senior dell'ingegneria Kiran Bhat, il direttore senior del prodotto Mahesh Ramasubramanian e il direttore principale del prodotto Effie Goenawan, riguardo al futuro della comunicazione immersiva attraverso gli avatar e le sfide tecniche che stiamo risolvendo per alimentarlo. In questa edizione di Inside the Tech, abbiamo parlato con il Senior Engineering Manager Andrew Portner per saperne di più su una di queste sfide tecniche, la sicurezza nella comunicazione vocale immersiva, e su come il lavoro del team sta contribuendo a promuovere un ambiente digitale sicuro e civile per tutti su la nostra piattaforma.

Quali sono le sfide tecniche più grandi che il tuo team sta affrontando?

Diamo la priorità al mantenimento di un'esperienza sicura e positiva per i nostri utenti. Sicurezza e civiltà sono sempre al primo posto per noi, ma gestirli in tempo reale può rappresentare una grande sfida tecnica. Ogni volta che si verifica un problema, vogliamo essere in grado di esaminarlo e agire in tempo reale, ma questo è impegnativo date le nostre dimensioni. Per gestire questa portata in modo efficace, dobbiamo sfruttare i sistemi di sicurezza automatizzati. 

Un’altra sfida tecnica su cui ci concentriamo è l’accuratezza delle nostre misure di sicurezza per la moderazione. Esistono due approcci di moderazione per affrontare le violazioni delle policy e fornire feedback accurato in tempo reale: moderazione reattiva e proattiva. Per la moderazione reattiva, stiamo sviluppando modelli di machine learning (ML) per identificare con precisione diversi tipi di violazioni delle policy, che funzionano rispondendo alle segnalazioni delle persone sulla piattaforma. In modo proattivo, stiamo lavorando al rilevamento del potenziale in tempo reale contenuti che violano le nostre politiche, educando gli utenti sul loro comportamento. Comprendere la parola parlata e migliorare la qualità dell'audio è un processo complesso. Stiamo già vedendo progressi, ma il nostro obiettivo finale è quello di avere un modello altamente preciso in grado di rilevare comportamenti che violano le politiche in tempo reale. 

Quali sono alcuni degli approcci e delle soluzioni innovativi che stiamo utilizzando per affrontare queste sfide tecniche?

Abbiamo sviluppato un modello ML end-to-end in grado di analizzare i dati audio e fornire un livello di confidenza basato sul tipo di violazioni delle norme (ad esempio, quanto è probabile che si tratti di bullismo, volgarità, ecc.). Questo modello ha migliorato significativamente la nostra capacità di chiudere automaticamente determinati rapporti. Interveniamo quando il nostro modello è fiducioso e possiamo essere certi che supererà gli esseri umani. Nel giro di pochi mesi dal lancio, siamo riusciti a moderare quasi tutte le segnalazioni di abusi vocali in inglese con questo modello. Abbiamo sviluppato questi modelli internamente ed è una testimonianza della collaborazione tra molte tecnologie open source e il nostro lavoro per creare la tecnologia dietro di esse. 

Determinare ciò che è appropriato in tempo reale sembra piuttosto complesso. Come funziona?

Si è pensato molto a rendere il sistema contestualmente consapevole. Osserviamo anche i modelli nel tempo prima di agire in modo da poter essere sicuri che le nostre azioni siano giustificate. Le nostre politiche variano in base all'età della persona, al fatto che si trovi in ​​uno spazio pubblico o in una chat privata e a molti altri fattori. Stiamo esplorando nuovi modi per promuovere la civiltà in tempo reale e il machine learning ne è al centro. Recentemente abbiamo lanciato notifiche push automatizzate (o "nudge") per ricordare agli utenti le nostre politiche. Stiamo esaminando anche altri fattori come il tono della voce per comprendere meglio le intenzioni di una persona e distinguere cose come sarcasmo o battute. Infine, stiamo anche costruendo un modello multilingue poiché alcune persone parlano più lingue o addirittura cambiano lingua nel mezzo di una frase. Affinché tutto ciò sia possibile, dobbiamo disporre di un modello accurato. 

Attualmente ci concentriamo sulla lotta alle forme più importanti di abuso, come molestie, discriminazione e linguaggio volgare. Questi costituiscono la maggior parte delle segnalazioni di abusi. Il nostro obiettivo è avere un impatto significativo in queste aree e stabilire le norme del settore su come promuovere e mantenere una conversazione civile online. Siamo entusiasti del potenziale dell’utilizzo del machine learning in tempo reale, poiché ci consente di promuovere in modo efficace un’esperienza sicura e civile per tutti. 

In che modo le sfide che stiamo risolvendo in Roblox sono uniche? Cosa siamo in grado di risolvere per primi?

Il nostro Chatta con la voce spaziale la tecnologia crea un'esperienza più coinvolgente, imitando la comunicazione del mondo reale. Ad esempio, se sto alla sinistra di qualcuno, mi sentiranno nell'orecchio sinistro. Stiamo creando un analogo al modo in cui funziona la comunicazione nel mondo reale e questa è una sfida che siamo nella posizione di risolvere per primi. 

Essendo io stesso un giocatore, sono stato testimone di molte molestie e bullismo nei giochi online. È un problema che spesso non viene controllato a causa dell’anonimato degli utenti e della mancanza di conseguenze. Tuttavia, le sfide tecniche che stiamo affrontando sono uniche rispetto a quelle che altre piattaforme si trovano ad affrontare in un paio di aree. Su alcune piattaforme di gioco, le interazioni sono limitate ai compagni di squadra. Roblox offre una varietà di modi per uscire in un ambiente sociale che imita più da vicino la vita reale. Con i progressi nel machine learning e nell’elaborazione dei segnali in tempo reale, siamo in grado di rilevare e affrontare in modo efficace comportamenti abusivi, il che significa che non siamo solo un ambiente più realistico, ma anche un ambiente in cui tutti si sentono sicuri nell’interagire e connettersi con gli altri. La combinazione della nostra tecnologia, della nostra piattaforma immersiva e del nostro impegno nell’educare gli utenti sulle nostre politiche ci mette nella posizione di affrontare queste sfide a testa alta.

Quali sono alcune delle cose fondamentali che hai imparato svolgendo questo lavoro tecnico?

Sento di aver imparato molto. Non sono un ingegnere ML. Ho lavorato principalmente sul front-end nei giochi, quindi essere in grado di andare più in profondità su come funzionano questi modelli è stato enorme. La mia speranza è che le azioni che stiamo intraprendendo per promuovere la civiltà si traducano in un livello di empatia nella comunità online che è mancato.  

Un ultimo apprendimento è che tutto dipende dai dati di addestramento inseriti. E affinché i dati siano accurati, gli esseri umani devono concordare sulle etichette utilizzate per classificare determinati comportamenti che violano le politiche. È davvero importante formarsi su dati di qualità su cui tutti possano essere d’accordo. È un problema davvero difficile da risolvere. Inizi a vedere aree in cui il machine learning è molto più avanti di tutto il resto, e poi altre aree in cui è ancora nelle fasi iniziali. Ci sono ancora molte aree in cui il machine learning è ancora in crescita, quindi essere consapevoli dei suoi limiti attuali è fondamentale. 

A quale valore Roblox si allinea maggiormente il tuo team?

Il rispetto della comunità è il nostro valore guida in tutto questo processo. Innanzitutto, dobbiamo concentrarci sul miglioramento della civiltà e sulla riduzione delle violazioni delle politiche sulla nostra piattaforma. Ciò ha un impatto significativo sull’esperienza complessiva dell’utente. In secondo luogo, dobbiamo considerare attentamente il modo in cui implementiamo queste nuove funzionalità. Dobbiamo prestare attenzione ai falsi positivi (ad esempio contrassegnare erroneamente qualcosa come abuso) nel modello ed evitare di penalizzare erroneamente gli utenti. Monitorare le prestazioni dei nostri modelli e il loro impatto sul coinvolgimento degli utenti è fondamentale. 

Cosa ti entusiasma di più della direzione in cui sono diretti Roblox e il tuo team?

Abbiamo compiuto progressi significativi nel migliorare la comunicazione vocale pubblica, ma c’è ancora molto da fare. La comunicazione privata è un’area entusiasmante da esplorare. Penso che ci sia un’enorme opportunità per migliorare la comunicazione privata, per consentire agli utenti di esprimersi con gli amici più stretti, di effettuare una chiamata vocale durante le esperienze o durante un’esperienza mentre interagiscono con i propri amici. Penso che ci sia anche un'opportunità per promuovere queste comunità con strumenti migliori per consentire agli utenti di auto-organizzarsi, unirsi alle comunità, condividere contenuti e condividere idee.

Mentre continuiamo a crescere, come possiamo adattare la nostra tecnologia di chat per supportare queste comunità in espansione? Stiamo solo grattando la superficie di molto di ciò che possiamo fare e penso che ci sia la possibilità di migliorare la civiltà della comunicazione online e della collaborazione in tutto il settore in un modo mai fatto prima. Con la giusta tecnologia e capacità ML, siamo in una posizione unica per plasmare il futuro della comunicazione civile online.

Timestamp:

Di più da Roblox