Inside the Tech — Rozwiązywanie problemów związanych z bezpieczeństwem w immersyjnej komunikacji głosowej — Blog Roblox

Inside the Tech – Rozwiązywanie problemów związanych z bezpieczeństwem w immersyjnej komunikacji głosowej – Blog Roblox

Znacznik czasu: 18 stycznia 2024 4:44
Węzeł źródłowy: 3070360

Inside the Tech to seria blogów towarzysząca naszym Podcast Tech Talks. W 20. odcinku podcastu, Ewolucja awatarów Roblox, dyrektor generalny Roblox David Baszucki rozmawiał ze starszym dyrektorem ds. inżynierii Kiranem Bhatem, starszym dyrektorem ds. produktu Maheshem Ramasubramanianem i główną menedżerką produktu Effie Goenawan na temat przyszłość komunikacji immersyjnej poprzez awatary i wyzwania techniczne, które rozwiązujemy, aby to zapewnić. W tym wydaniu Inside the Tech rozmawialiśmy ze starszym menedżerem ds. inżynierii Andrew Portnerem, aby dowiedzieć się więcej o jednym z tych wyzwań technicznych, bezpieczeństwie w immersyjnej komunikacji głosowej oraz o tym, jak praca zespołu pomaga w tworzeniu bezpiecznego i obywatelskiego środowiska cyfrowego dla wszystkich na nasza platforma.

Jakie są największe wyzwania techniczne, przed którymi staje Twój zespół?

Naszym priorytetem jest zapewnienie bezpiecznego i pozytywnego doświadczenia naszym użytkownikom. Bezpieczeństwo i kultura osobista są dla nas zawsze najważniejsze, ale obsługa ich w czasie rzeczywistym może być dużym wyzwaniem technicznym. Ilekroć pojawia się problem, chcemy mieć możliwość jego sprawdzenia i podjęcia działań w czasie rzeczywistym, ale jest to trudne, biorąc pod uwagę naszą skalę. Aby skutecznie uporać się z tą skalą, musimy wykorzystać zautomatyzowane systemy bezpieczeństwa. 

Kolejnym wyzwaniem technicznym, na którym się skupiamy, jest dokładność naszych środków bezpieczeństwa w zakresie moderacji. Istnieją dwa podejścia do moderacji, które pozwalają reagować na naruszenia zasad i zapewniać dokładne informacje zwrotne w czasie rzeczywistym: moderacja reaktywna i proaktywna. Na potrzeby moderacji reaktywnej opracowujemy modele uczenia maszynowego (ML), aby dokładnie identyfikować różne typy naruszeń zasad, które działają poprzez reagowanie na zgłoszenia od osób na platformie. Proaktywnie pracujemy nad wykrywaniem potencjału w czasie rzeczywistym treści naruszających nasze zasady, edukując użytkowników na temat ich zachowań. Zrozumienie słowa mówionego i poprawa jakości dźwięku to złożony proces. Już teraz widzimy postęp, ale naszym ostatecznym celem jest posiadanie bardzo precyzyjnego modelu, który będzie w stanie wykryć zachowania naruszające zasady w czasie rzeczywistym. 

Jakie innowacyjne podejścia i rozwiązania stosujemy, aby stawić czoła tym wyzwaniom technicznym?

Opracowaliśmy kompleksowy model uczenia maszynowego, który może analizować dane audio i zapewnia poziom pewności na podstawie rodzaju naruszenia zasad (np. prawdopodobieństwo zastraszania, wulgaryzmów itp.). Model ten znacznie poprawił naszą zdolność do automatycznego zamykania niektórych raportów. Podejmujemy działania, gdy nasz model jest pewny i ma pewność, że przewyższa ludzi. W ciągu zaledwie kilku miesięcy od uruchomienia za pomocą tego modelu byliśmy w stanie moderować prawie wszystkie zgłoszenia nadużyć w języku angielskim. Opracowaliśmy te modele we własnym zakresie i jest to świadectwo współpracy wielu technologii open source oraz naszej własnej pracy nad stworzeniem stojącej za nimi technologii. 

Określenie, co jest odpowiednie w czasie rzeczywistym, wydaje się dość skomplikowane. Jak to działa?

Wiele uwagi poświęcono temu, aby system był świadomy kontekstu. Zanim podejmiemy działania, przyglądamy się również wzorcom na przestrzeni czasu, aby mieć pewność, że nasze działania są uzasadnione. Nasze zasady są zróżnicowane w zależności od wieku danej osoby, tego, czy przebywa ona w przestrzeni publicznej, czy na prywatnym czacie, i wielu innych czynników. Badamy nowe sposoby promowania uprzejmości w czasie rzeczywistym, a ML jest w tym centrum. Niedawno wprowadziliśmy automatyczne powiadomienia push (lub „podpowiedzi”), aby przypominać użytkownikom o naszych zasadach. Bierzemy również pod uwagę inne czynniki, takie jak ton głosu, aby lepiej zrozumieć intencje danej osoby i odróżnić takie rzeczy, jak sarkazm czy żarty. Na koniec budujemy także model wielojęzyczny, ponieważ niektórzy ludzie mówią wieloma językami, a nawet zmieniają języki w połowie zdania. Aby to wszystko było możliwe, musimy mieć dokładny model. 

Obecnie koncentrujemy się na zajmowaniu się najpoważniejszymi formami przemocy, takimi jak molestowanie, dyskryminacja i wulgaryzmy. Stanowią one większość zgłoszeń nadużyć. Naszym celem jest wywarcie znaczącego wpływu w tych obszarach i ustanowienie norm branżowych dotyczących promowania i utrzymywania obywatelskiej rozmowy w Internecie. Jesteśmy podekscytowani potencjałem wykorzystania uczenia maszynowego w czasie rzeczywistym, ponieważ pozwala nam on skutecznie zapewniać każdemu bezpieczne i obywatelskie doświadczenie. 

W jaki sposób wyzwania, które rozwiązujemy w Roblox, są wyjątkowe? Co możemy rozwiązać w pierwszej kolejności?

Autonomiczne Czatuj z głosem przestrzennym technologia zapewnia bardziej wciągające wrażenia, naśladując komunikację w świecie rzeczywistym. Na przykład, jeśli stoję po lewej stronie kogoś, usłyszy mnie w lewym uchu. Tworzymy analogię do tego, jak działa komunikacja w prawdziwym świecie i jest to wyzwanie, które jesteśmy w stanie rozwiązać w pierwszej kolejności. 

Jako gracz byłem świadkiem wielu nękania i znęcania się w grach online. Jest to problem, który często pozostaje niezauważony ze względu na anonimowość użytkownika i brak konsekwencji. Jednak wyzwania techniczne, z którymi się mierzymy, są wyjątkowe w porównaniu z wyzwaniami, przed którymi stoją inne platformy w kilku obszarach. Na niektórych platformach do gier interakcje są ograniczone do członków drużyny. Roblox oferuje różne sposoby spędzania czasu w środowisku społecznościowym, które bardziej naśladuje prawdziwe życie. Dzięki postępom w uczeniu maszynowym i przetwarzaniu sygnałów w czasie rzeczywistym jesteśmy w stanie skutecznie wykrywać nadużycia i reagować na nie, co oznacza, że ​​tworzymy nie tylko bardziej realistyczne środowisko, ale także takie, w którym każdy czuje się bezpiecznie, mogąc wchodzić w interakcje i łączyć się z innymi. Połączenie naszej technologii, naszej wciągającej platformy i naszego zaangażowania w edukowanie użytkowników na temat naszych zasad pozwala nam stawić czoła tym wyzwaniom.

Jakich kluczowych rzeczy nauczyłeś się podczas wykonywania tej pracy technicznej?

Czuję, że wiele się nauczyłem. Nie jestem inżynierem ML. Pracowałem głównie jako frontend w grach, więc samo to, że mogłem zgłębić temat działania tych modeli, było dla mnie ogromne. Mam nadzieję, że działania, które podejmujemy na rzecz promowania uprzejmości, przełożą się na poziom empatii w społeczności internetowej, którego brakuje.  

Ostatnia nauka jest taka, że ​​wszystko zależy od wprowadzonych danych szkoleniowych. Aby dane były dokładne, ludzie muszą zgodzić się na etykiety używane do kategoryzowania pewnych zachowań naruszających zasady. Bardzo ważne jest, aby szkolić się w oparciu o wysokiej jakości dane, co do których wszyscy mogą się zgodzić. To naprawdę trudny problem do rozwiązania. Zaczynasz dostrzegać obszary, w których ML znacznie wyprzedza wszystko inne, a następnie inne obszary, w których jest wciąż na wczesnym etapie. Nadal istnieje wiele obszarów, w których ML wciąż się rozwija, dlatego kluczowa jest świadomość jego obecnych ograniczeń. 

Z jaką wartością Roblox najbardziej zgadza się Twój zespół?

Szacunek dla społeczności jest naszą wartością przewodnią w całym procesie. Po pierwsze, musimy skupić się na poprawie kultury osobistej i ograniczeniu naruszeń zasad na naszej platformie. Ma to znaczący wpływ na ogólne wrażenia użytkownika. Po drugie, musimy dokładnie rozważyć sposób wdrożenia tych nowych funkcji. Musimy zwracać uwagę na fałszywe alarmy (np. nieprawidłowe oznaczenie czegoś jako nadużycie) w modelu i unikać nieprawidłowego karania użytkowników. Monitorowanie wydajności naszych modeli i ich wpływu na zaangażowanie użytkowników jest kluczowe. 

Co najbardziej ekscytuje Cię w tym, dokąd zmierza Roblox i Twój zespół?

Poczyniliśmy znaczne postępy w zakresie poprawy publicznej komunikacji głosowej, ale nadal pozostaje wiele do zrobienia. Komunikacja prywatna to ekscytujący obszar do odkrycia. Myślę, że istnieje ogromna szansa na ulepszenie prywatnej komunikacji, umożliwienie użytkownikom wyrażania siebie bliskim znajomym, nawiązania połączenia głosowego podczas doświadczeń lub w ich trakcie podczas interakcji ze znajomymi. Myślę, że istnieje również możliwość wspierania tych społeczności za pomocą lepszych narzędzi, które umożliwią użytkownikom samoorganizację, dołączanie do społeczności, udostępnianie treści i dzielenie się pomysłami.

W miarę ciągłego rozwoju, jak skalować naszą technologię czatu, aby wspierać te rozwijające się społeczności? Dopiero zarysowujemy wiele z tego, co możemy zrobić, i myślę, że istnieje szansa na poprawę uprzejmości komunikacji i współpracy online w całej branży w sposób, jakiego nie robiono wcześniej. Dzięki odpowiedniej technologii i możliwościom uczenia maszynowego jesteśmy w wyjątkowej sytuacji, aby kształtować przyszłość cywilnej komunikacji online.

Znak czasu:

Więcej z Roblox