Inside the Tech - Рішення для безпеки в голосовому спілкуванні з ефектом занурення - Blog Roblox

Inside the Tech – рішення для безпеки в голосовому спілкуванні з ефектом занурення – блог Roblox

Мітка часу: 18 січня 2024 р. 4:44
Вихідний вузол: 3070360

Inside the Tech — це серія блогів, яка супроводжує наш Подкаст Tech Talks. У епізоді 20 подкасту «Еволюція аватарів Roblox» генеральний директор Roblox Девід Базукі поспілкувався зі старшим директором із розробки Кіраном Бхатом, старшим директором із продуктів Махешом Рамасубраманіаном та головним менеджером із продуктів Еффі Гоенаван про майбутнє захоплюючого спілкування через аватари та технічні проблеми, які ми вирішуємо, щоб забезпечити його. У цьому випуску Inside the Tech ми поспілкувалися зі старшим менеджером з інженерних розробок Ендрю Портнером, щоб дізнатися більше про одну з цих технічних проблем, безпеку голосового зв’язку з ефектом занурення, і про те, як робота команди допомагає створювати безпечне та цивільне цифрове середовище для всіх на наша платформа.

Які найбільші технічні завдання бере на себе ваша команда?

Ми надаємо пріоритет підтримці безпечного та позитивного досвіду для наших користувачів. Безпека та ввічливість для нас завжди на першому місці, але впоратися з ними в реальному часі може бути серйозною технічною проблемою. Щоразу, коли виникає проблема, ми хочемо мати можливість переглянути її та вжити заходів у режимі реального часу, але це складно з огляду на наш масштаб. Щоб ефективно впоратися з цим масштабом, нам потрібно використовувати автоматизовані системи безпеки. 

Ще одна технічна проблема, на якій ми зосереджені, – це точність наших заходів безпеки для модерації. Існує два підходи до модерації для усунення порушень політики та надання точного відгуку в реальному часі: реактивна та проактивна модерація. Для реактивної модерації ми розробляємо моделі машинного навчання (ML), щоб точно ідентифікувати різні типи порушень політики, які працюють, реагуючи на повідомлення людей на платформі. Ми активно працюємо над виявленням потенціалу в реальному часі вміст, який порушує нашу політику, навчаючи користувачів щодо їх поведінки. Розуміння усного слова та покращення якості аудіо є складним процесом. Ми вже бачимо прогрес, але наша кінцева мета — мати високоточну модель, яка зможе виявляти поведінку, що порушує правила, у режимі реального часу. 

Які інноваційні підходи та рішення ми використовуємо для вирішення цих технічних проблем?

Ми розробили наскрізну модель ML, яка може аналізувати аудіодані та надає рівень достовірності на основі типу порушення політики (наприклад, наскільки ймовірним є це залякування, нецензурна лексика тощо). Ця модель значно покращила нашу здатність автоматично закривати певні звіти. Ми вживаємо заходів, коли наша модель впевнена та може бути впевнена, що вона перевершує людей. Лише за кілька місяців після запуску ми змогли модерувати майже всі звіти про порушення голосу англійською мовою за допомогою цієї моделі. Ми розробили ці моделі власними силами, і це є свідченням співпраці між багатьма технологіями з відкритим кодом і нашою власною роботою над створенням технологій, що стоять за ними. 

Визначення того, що доречно в режимі реального часу, здається досить складним. Як це працює?

Було докладено багато думок, щоб зробити систему контекстно обізнаною. Ми також розглядаємо закономірності з часом, перш ніж вжити заходів, щоб бути впевненими, що наші дії виправдані. Наша політика залежить від віку людини, від того, чи перебуває вона в публічному просторі чи в приватному чаті, а також від багатьох інших факторів. Ми досліджуємо нові способи просування ввічливості в режимі реального часу, і ML є основою цього. Нещодавно ми запустили автоматичні push-повідомлення (або «підказки»), щоб нагадати користувачам про нашу політику. Ми також вивчаємо інші фактори, як-от тон голосу, щоб краще зрозуміти наміри людини та розрізнити такі речі, як сарказм чи жарти. Нарешті, ми також створюємо багатомовну модель, оскільки деякі люди говорять кількома мовами або навіть міняють мову на півслові. Щоб усе це було можливим, ми повинні мати точну модель. 

Наразі ми зосереджені на вирішенні найпоширеніших форм насильства, таких як переслідування, дискримінація та ненормативна лексика. Це більшість повідомлень про порушення. Наша мета — мати значний вплив у цих сферах і встановити галузеві норми щодо того, як виглядає сприяння та підтримка громадянської онлайн-розмови. Ми в захваті від потенціалу використання ML у режимі реального часу, оскільки це дає нам змогу ефективно сприяти безпечному та цивільному досвіду для всіх. 

Чим унікальні виклики, які ми вирішуємо в Roblox? Що ми можемо вирішити в першу чергу?

наш Спілкуйтеся в чаті за допомогою Spatial Voice технологія створює більш захоплюючий досвід, імітуючи спілкування в реальному світі. Наприклад, якщо я стою ліворуч від когось, вони почують мене лівим вухом. Ми створюємо аналог того, як комунікація працює в реальному світі, і це завдання, яке ми можемо вирішити першими. 

Як гравець я сам був свідком багатьох переслідувань і залякування в онлайн-іграх. Це проблема, яка часто залишається без уваги через анонімність користувачів і відсутність наслідків. Однак технічні проблеми, з якими ми стикаємося навколо цього, унікальні для інших платформ у кількох сферах. На деяких ігрових платформах взаємодія обмежена членами команди. Roblox пропонує різноманітні способи спілкування в соціальному середовищі, яке більше імітує реальне життя. Завдяки прогресу в ML і обробці сигналів у режимі реального часу ми можемо ефективно виявляти та усувати випадки образливої ​​поведінки, що означає, що ми не лише більш реалістичне середовище, але й таке, де кожен почувається безпечно, взаємодіючи та спілкуючись з іншими. Поєднання нашої технології, нашої захоплюючої платформи та нашого зобов’язання ознайомити користувачів із нашими політиками дає нам змогу рішуче впоратися з цими проблемами.

Які ключові речі ви навчилися, виконуючи цю технічну роботу?

Я відчуваю, що я багато чому навчився. Я не інженер ML. Я здебільшого працював над зовнішнім виглядом в іграх, тому можливість глибше зрозуміти, як працюють ці моделі, була величезною. Я сподіваюся, що дії, які ми вживаємо для сприяння ввічливості, призведуть до рівня співчуття в онлайн-спільноті, якого бракувало.  

Останній урок полягає в тому, що все залежить від навчальних даних, які ви вводите. І щоб дані були точними, люди повинні погодитися щодо ярликів, які використовуються для класифікації певної поведінки, що порушує правила. Дуже важливо тренуватися на якісних даних, з якими всі можуть погодитися. Це справді важка проблема для вирішення. Ви починаєте бачити області, де машинне навчання значно випереджає все інше, а потім інші сфери, де воно все ще перебуває на ранніх стадіях. Є ще багато сфер, де МЛ все ще розвивається, тому усвідомлення його поточних обмежень є ключовим. 

Яким цінностям Roblox найбільше відповідає ваша команда?

Повага до спільноти є нашою основною цінністю протягом цього процесу. По-перше, нам потрібно зосередитися на покращенні ввічливості та зменшенні порушень політики на нашій платформі. Це значно впливає на загальний досвід користувача. По-друге, ми повинні ретельно проаналізувати, як розгортати ці нові функції. Ми повинні пам’ятати про помилкові спрацьовування (наприклад, неправильне позначення чогось як порушення) у моделі та уникати неправильного покарання користувачів. Моніторинг ефективності наших моделей і їхнього впливу на залучення користувачів є надзвичайно важливим. 

Що вас найбільше хвилює в тому, куди рухаються Roblox і ваша команда?

Ми досягли значного прогресу в покращенні публічного голосового зв’язку, але попереду ще багато чого. Приватне спілкування – це захоплююча сфера для вивчення. Я вважаю, що є величезна можливість покращити приватне спілкування, дозволити користувачам висловлюватися близьким друзям, здійснювати голосовий дзвінок, переходячи через досвід або під час досвіду, коли вони спілкуються зі своїми друзями. Я вважаю, що є також можливість розвивати ці спільноти за допомогою кращих інструментів, які дозволять користувачам самоорганізовуватися, приєднуватися до спільнот, ділитися вмістом та ідеями.

Оскільки ми продовжуємо рости, як ми масштабуємо нашу технологію чату для підтримки цих спільнот, що розширюються? Ми лише торкаємося поверхні багатьох з того, що ми можемо зробити, і я думаю, що є шанс покращити ввічливість онлайн-комунікації та співпраці в галузі так, як це не робилося раніше. Завдяки належним технологіям і можливостям машинного навчання ми маємо унікальну можливість формувати майбутнє цивільного онлайн-спілкування.

Часова мітка:

Більше від Roblox