Внутри технологий — решение вопросов безопасности при иммерсивной голосовой коммуникации — блог Roblox

Внутри технологии – решение вопросов безопасности при иммерсивной голосовой коммуникации – блог Roblox

Отметка времени: 18 января 2024 г., 4:44
Исходный узел: 3070360

Inside the Tech — это серия блогов, сопровождающая наши Подкаст «Технические переговоры». В эпизоде ​​20 подкаста «Эволюция аватаров Roblox» генеральный директор Roblox Дэвид Басуки поговорил со старшим техническим директором Киран Бхат, старшим директором по продукту Махешем Рамасубраманяном и главным менеджером по продукту Эффи Гоэнаван о будущее иммерсивного общения через аватары и технические проблемы, которые мы решаем для его обеспечения. В этом выпуске Inside the Tech мы поговорили со старшим техническим менеджером Эндрю Портнером, чтобы узнать больше об одной из технических проблем — безопасности иммерсивной голосовой связи, а также о том, как работа команды помогает создать безопасную и гражданскую цифровую среду для всех в мире. наша платформа.

Какие самые большие технические задачи решает ваша команда?

Мы уделяем приоритетное внимание поддержанию безопасного и положительного опыта для наших пользователей. Безопасность и вежливость всегда являются для нас главным приоритетом, но обработка их в режиме реального времени может оказаться большой технической проблемой. Всякий раз, когда возникает проблема, мы хотим иметь возможность рассмотреть ее и принять меры в режиме реального времени, но это сложно, учитывая наш масштаб. Чтобы эффективно справиться с этим масштабом, нам необходимо использовать автоматизированные системы безопасности. 

Еще одна техническая проблема, на которой мы сосредоточены, — это точность наших мер безопасности при модерации. Существует два подхода к модерации для устранения нарушений политики и предоставления точной обратной связи в режиме реального времени: реактивная и превентивная модерация. Для реактивной модерации мы разрабатываем модели машинного обучения (ML) для точного выявления различных типов нарушений политики, которые работают путем реагирования на жалобы людей на платформе. Мы активно работаем над обнаружением потенциальных контент, который нарушает нашу политику, информируя пользователей об их поведении. Понимание устной речи и улучшение качества звука — сложный процесс. Мы уже видим прогресс, но наша конечная цель — создать высокоточную модель, которая сможет обнаруживать поведение, нарушающее политику, в режиме реального времени. 

Какие инновационные подходы и решения мы используем для решения этих технических проблем?

Мы разработали комплексную модель машинного обучения, которая может анализировать аудиоданные и обеспечивает уровень уверенности в зависимости от типа нарушений политики (например, насколько вероятны издевательства, ненормативная лексика и т. д.). Эта модель значительно улучшила нашу способность автоматически закрывать определенные отчеты. Мы принимаем меры, когда наша модель уверена и может быть уверена, что она превосходит людей. Всего через несколько месяцев после запуска мы смогли модерировать почти все сообщения о нарушении голоса на английском языке с помощью этой модели. Мы разработали эти модели собственными силами, и это является свидетельством сотрудничества множества технологий с открытым исходным кодом и нашей собственной работы по созданию технологий, лежащих в их основе. 

Определить, что подходит в реальном времени, кажется довольно сложным. Как это работает?

Много внимания было уделено тому, чтобы сделать систему контекстно-зависимой. Мы также анализируем закономерности, прежде чем предпринимать действия, чтобы быть уверенными, что наши действия оправданы. Наши правила различаются в зависимости от возраста человека, от того, находится ли он в публичном месте или в приватном чате, а также от многих других факторов. Мы изучаем новые способы продвижения цивилизованности в режиме реального времени, и в основе этого лежит машинное обучение. Недавно мы запустили автоматические push-уведомления (или «подталкивания»), чтобы напоминать пользователям о наших правилах. Мы также изучаем другие факторы, такие как тон голоса, чтобы лучше понимать намерения человека и различать такие вещи, как сарказм и шутки. Наконец, мы также создаем многоязычную модель, поскольку некоторые люди говорят на нескольких языках или даже переключают языки в середине предложения. Чтобы все это было возможно, нам нужна точная модель. 

В настоящее время мы сосредоточены на борьбе с наиболее распространенными формами злоупотреблений, такими как притеснение, дискриминация и ненормативная лексика. Они составляют большинство сообщений о злоупотреблениях. Наша цель — оказать значительное влияние в этих областях и установить отраслевые нормы того, как должно выглядеть продвижение и поддержание гражданского онлайн-разговора. Мы воодушевлены потенциалом использования машинного обучения в режиме реального времени, поскольку оно позволяет нам эффективно обеспечивать безопасный и гражданский опыт для всех. 

В чем уникальность задач, которые мы решаем в Roblox? Что мы можем решить в первую очередь?

Наши Общайтесь с пространственным голосом Технология создает более захватывающий опыт, имитируя общение в реальном мире. Например, если я стою слева от кого-то, они услышат меня левым ухом. Мы создаем аналог того, как общение работает в реальном мире, и это задача, которую мы можем решить в первую очередь. 

Как геймер, я стал свидетелем множества притеснений и издевательств в онлайн-играх. Эта проблема часто остается без внимания из-за анонимности пользователя и отсутствия последствий. Однако технические проблемы, которые мы решаем, уникальны и не похожи на те, с которыми сталкиваются другие платформы в нескольких областях. На некоторых игровых платформах взаимодействие ограничивается товарищами по команде. Roblox предлагает множество способов общения в социальной среде, которая более точно имитирует реальную жизнь. Благодаря достижениям в области машинного обучения и обработки сигналов в реальном времени мы можем эффективно выявлять и устранять оскорбительное поведение, что означает, что мы не только представляем более реалистичную среду, но и среду, в которой каждый чувствует себя в безопасности, взаимодействуя и общаясь с другими. Сочетание наших технологий, нашей иммерсивной платформы и нашей приверженности информированию пользователей о нашей политике дает нам возможность решительно решать эти проблемы.

Каким ключевым вещам вы научились, выполняя эту техническую работу?

Я чувствую, что узнал много нового. Я не инженер ML. Я работал в основном над интерфейсом в играх, поэтому возможность глубже понять, как работают эти модели, была огромной. Я надеюсь, что действия, которые мы предпринимаем для продвижения вежливости, приведут к тому уровню сочувствия в онлайн-сообществе, которого так не хватало.  

И последний урок: все зависит от введенных вами обучающих данных. А чтобы данные были точными, люди должны договориться о ярлыках, которые используются для классификации определенного поведения, нарушающего политику. Очень важно тренироваться на качественных данных, с которыми каждый может согласиться. Это действительно трудная проблема. Вы начинаете видеть области, в которых машинное обучение намного опережает все остальное, а затем и другие области, где оно все еще находится на ранних стадиях. Есть еще много областей, где МО продолжает развиваться, поэтому ключевым моментом является осознание его текущих ограничений. 

Какая ценность Roblox больше всего соответствует вашей команде?

Уважение к сообществу является нашей руководящей ценностью на протяжении всего этого процесса. Во-первых, нам нужно сосредоточиться на повышении вежливости и сокращении нарушений правил на нашей платформе. Это оказывает существенное влияние на общий пользовательский опыт. Во-вторых, мы должны тщательно продумать, как мы будем внедрять эти новые функции. Нам необходимо помнить о ложных срабатываниях (например, неправильной маркировке чего-либо как злоупотребления) в модели и избегать некорректного наказания пользователей. Мониторинг производительности наших моделей и их влияния на вовлеченность пользователей имеет решающее значение. 

Что вас больше всего волнует в том, куда движутся Roblox и ваша команда?

Мы добились значительного прогресса в улучшении общественной голосовой связи, но еще многое предстоит сделать. Частное общение — интересная область для изучения. Я думаю, что существует огромная возможность улучшить частное общение, позволить пользователям выражать свои мысли близким друзьям, совершать голосовые звонки во время опыта или во время опыта, пока они общаются со своими друзьями. Я думаю, что есть также возможность развивать эти сообщества с помощью более совершенных инструментов, которые позволят пользователям самоорганизовываться, присоединяться к сообществам, делиться контентом и идеями.

Поскольку мы продолжаем расти, как нам масштабировать нашу технологию чата, чтобы поддерживать эти расширяющиеся сообщества? Мы лишь поверхностно касаемся многого из того, что мы можем сделать, и я думаю, что есть шанс улучшить цивилизованность онлайн-общения и сотрудничества в отрасли так, как этого раньше не делалось. Благодаря подходящим технологиям и возможностям машинного обучения мы находимся в уникальной позиции, позволяющей формировать будущее гражданского онлайн-коммуникации.

Отметка времени:

Больше от Roblox