Inside the Tech - Rezolvarea pentru siguranță în comunicarea vocală imersivă - Blog Roblox

Inside the Tech – Rezolvarea siguranței în comunicarea vocală imersivă – Blog Roblox

Marca temporală: 18 ianuarie 2024 4:44
Nodul sursă: 3070360

Inside the Tech este o serie de bloguri care ne însoțește Podcast Tech Talks. În episodul 20 al podcastului, Evoluția avatarurilor Roblox, CEO-ul Roblox, David Baszucki, a vorbit cu directorul senior de inginerie Kiran Bhat, directorul principal de produs Mahesh Ramasubramanian și managerul principal de produs Effie Goenawan, despre viitorul comunicării imersive prin avatare și provocările tehnice pe care le rezolvăm pentru a-l alimenta. În această ediție a revistei Inside the Tech, am discutat cu directorul senior de inginerie, Andrew Portner, pentru a afla mai multe despre una dintre aceste provocări tehnice, siguranța în comunicarea vocală imersivă și modul în care munca echipei ajută la promovarea unui mediu digital sigur și civil pentru toți cei din jur. platforma noastră.

Care sunt cele mai mari provocări tehnice pe care le asumă echipa ta?

Prioritizăm menținerea unei experiențe sigure și pozitive pentru utilizatorii noștri. Siguranță și civilitate sunt întotdeauna de prim rang pentru noi, dar gestionarea în timp real poate fi o mare provocare tehnică. Ori de câte ori apare o problemă, dorim să o putem revizui și să luăm măsuri în timp real, dar acest lucru este o provocare având în vedere amploarea noastră. Pentru a gestiona eficient această scară, trebuie să folosim sisteme automate de siguranță. 

O altă provocare tehnică asupra căreia ne concentrăm este acuratețea măsurilor noastre de siguranță pentru moderare. Există două abordări de moderare pentru a aborda încălcările politicii și pentru a oferi feedback precis în timp real: moderarea reactivă și proactivă. Pentru moderarea reactivă, dezvoltăm modele de învățare automată (ML) pentru a identifica cu exactitate diferitele tipuri de încălcări ale politicii, care funcționează răspunzând la rapoartele de la utilizatorii de pe platformă. În mod proactiv, lucrăm la detectarea în timp real a potențialului conținut care încalcă politicile noastre, educând utilizatorii despre comportamentul lor. Înțelegerea cuvântului rostit și îmbunătățirea calității audio este un proces complex. Observăm deja progrese, dar scopul nostru final este să avem un model extrem de precis care să poată detecta comportamentul care încalcă politicile în timp real. 

Care sunt unele dintre abordările și soluțiile inovatoare pe care le folosim pentru a face față acestor provocări tehnice?

Am dezvoltat un model ML end-to-end care poate analiza datele audio și oferă un nivel de încredere bazat pe tipul de încălcări ale politicii (de exemplu, cât de probabil este această intimidare, blasfemie etc.). Acest model a îmbunătățit semnificativ capacitatea noastră de a închide automat anumite rapoarte. Luăm măsuri atunci când modelul nostru este încrezător și putem fi siguri că îi depășește pe oameni. În doar câteva luni de la lansare, am reușit să moderam aproape toate rapoartele de abuz de voce în limba engleză cu acest model. Am dezvoltat aceste modele intern și este o dovadă a colaborării dintre o mulțime de tehnologii open source și propria noastră muncă de a crea tehnologia din spatele acesteia. 

Determinarea a ceea ce este potrivit în timp real pare destul de complexă. Cum funcționează?

Există o mulțime de gândire pentru a face sistemul conștient din punct de vedere contextual. De asemenea, ne uităm la modele de-a lungul timpului înainte de a lua măsuri, astfel încât să putem fi siguri că acțiunile noastre sunt justificate. Politicile noastre sunt nuanțate în funcție de vârsta unei persoane, dacă se află într-un spațiu public sau într-un chat privat și de mulți alți factori. Explorăm noi modalități de a promova civilizația în timp real, iar ML se află în centrul acesteia. Am lansat recent notificări push automate (sau „nudges”) pentru a reaminti utilizatorilor politicile noastre. De asemenea, analizăm și alți factori, cum ar fi tonul vocii, pentru a înțelege mai bine intențiile unei persoane și pentru a distinge lucruri precum sarcasmul sau glumele. În cele din urmă, construim și un model multilingv, deoarece unii oameni vorbesc mai multe limbi sau chiar schimbă limbile la mijlocul propoziției. Pentru ca toate acestea să fie posibile, trebuie să avem un model precis. 

În prezent, ne concentrăm pe abordarea celor mai importante forme de abuz, cum ar fi hărțuirea, discriminarea și blasfemia. Acestea reprezintă majoritatea rapoartelor de abuz. Scopul nostru este să avem un impact semnificativ în aceste domenii și să stabilim normele industriei pentru cum arată promovarea și menținerea unei conversații online civile. Suntem încântați de potențialul utilizării ML în timp real, deoarece ne permite să promovăm în mod eficient o experiență sigură și civilă pentru toată lumea. 

Cum sunt unice provocările pe care le rezolvăm la Roblox? Ce suntem în măsură să rezolvăm mai întâi?

Our Chat cu Spatial Voice tehnologia creează o experiență mai captivantă, imitând comunicarea din lumea reală. De exemplu, dacă stau în stânga cuiva, mă va auzi în urechea stângă. Creăm un analog cu modul în care funcționează comunicarea în lumea reală și aceasta este o provocare pe care suntem în măsură să o rezolvăm mai întâi. 

În calitate de jucător, am fost martor la multe hărțuiri și hărțuiri în jocurile online. Este o problemă care de multe ori nu este verificată din cauza anonimatului utilizatorului și a lipsei de consecințe. Cu toate acestea, provocările tehnice pe care le abordăm în acest sens sunt unice cu ceea ce se confruntă alte platforme în câteva domenii. Pe unele platforme de jocuri, interacțiunile sunt limitate la colegii de echipă. Roblox oferă o varietate de moduri de a hangout într-un mediu social care imită mai mult viața reală. Cu progresele în ML și procesarea semnalului în timp real, suntem capabili să detectăm și să abordăm eficient comportamentul abuziv, ceea ce înseamnă că nu suntem doar un mediu mai realist, ci și unul în care toată lumea se simte în siguranță să interacționeze și să se conecteze cu ceilalți. Combinația dintre tehnologia noastră, platforma noastră captivantă și angajamentul nostru de a educa utilizatorii cu privire la politicile noastre ne pune în poziția de a face față acestor provocări.

Care sunt câteva dintre lucrurile cheie pe care le-ați învățat din realizarea acestei lucrări tehnice?

Simt că am învățat o afacere considerabilă. Nu sunt inginer ML. Am lucrat mai ales la front-end în gaming, așa că a fost uriaș să fiu capabil să merg mai profund decât am făcut despre cum funcționează aceste modele. Speranța mea este că acțiunile pe care le întreprindem pentru a promova civilizația se traduc într-un nivel de empatie în comunitatea online care a lipsit.  

O ultimă învățare este că totul depinde de datele de antrenament pe care le introduceți. Și pentru ca datele să fie exacte, oamenii trebuie să cadă de acord asupra etichetelor folosite pentru a clasifica anumite comportamente care încalcă politicile. Este foarte important să te antrenezi cu privire la date de calitate cu care toată lumea poate fi de acord. Este o problemă cu adevărat greu de rezolvat. Începeți să vedeți zone în care ML este cu mult înaintea tuturor, apoi alte zone în care este încă în stadiile incipiente. Există încă multe domenii în care ML este încă în creștere, așa că este esențial să cunoaștem limitele actuale. 

Cu ce ​​valoare Roblox se aliniază cel mai mult echipa ta?

Respectarea comunității este valoarea noastră călăuzitoare pe parcursul acestui proces. În primul rând, trebuie să ne concentrăm pe îmbunătățirea civilizației și pe reducerea încălcărilor politicilor pe platforma noastră. Acest lucru are un impact semnificativ asupra experienței generale a utilizatorului. În al doilea rând, trebuie să luăm în considerare cu atenție modul în care lansăm aceste noi funcții. Trebuie să fim atenți la falsele pozitive (de exemplu, marcarea incorect a ceva ca abuz) în model și să evităm penalizarea incorect pe utilizatori. Monitorizarea performanței modelelor noastre și a impactului acestora asupra implicării utilizatorilor este crucială. 

Ce te entuziasmează cel mai mult în legătură cu locul în care se îndreaptă Roblox și echipa ta?

Am făcut progrese semnificative în îmbunătățirea comunicării vocale publice, dar mai sunt multe de făcut. Comunicarea privată este o zonă interesantă de explorat. Cred că există o oportunitate uriașă de a îmbunătăți comunicarea privată, de a le permite utilizatorilor să se exprime prietenilor apropiați, de a avea un apel vocal prin experiențele sau în timpul unei experiențe în timp ce interacționează cu prietenii lor. Cred că există și o oportunitate de a promova aceste comunități cu instrumente mai bune care să permită utilizatorilor să se autoorganizeze, să se alăture comunităților, să partajeze conținut și să împărtășească idei.

Pe măsură ce continuăm să creștem, cum ne extindem tehnologia de chat pentru a sprijini aceste comunități în expansiune? Pur și simplu zgâriem la suprafață multe din ceea ce putem face și cred că există o șansă de a îmbunătăți civilizația comunicării online și a colaborării în industrie într-un mod care nu a fost făcut înainte. Cu tehnologia potrivită și capabilitățile ML, ne aflăm într-o poziție unică pentru a modela viitorul comunicării online civile.

Timestamp-ul:

Mai mult de la Roblox