Inside The Tech - 몰입형 음성 통신의 안전 문제 해결 - Roblox 블로그

플라톤에 의해 재발행

팔로워 : 0

Inside the Tech는 당사와 함께 제공되는 블로그 시리즈입니다. 기술 토크 팟캐스트. 팟캐스트 20화 'The Evolution of Roblox Avatars'에서 Roblox CEO David Baszucki는 엔지니어링 수석 이사 Kiran Bhat, 제품 수석 이사 Mahesh Ramasubramanian, 수석 제품 관리자 Effie Goenawan과 함께 몰입형 커뮤니케이션의 미래 아바타와 우리가 해결하고 있는 기술적 과제를 통해 이를 강화합니다. 이번 Inside the Tech 에디션에서는 수석 엔지니어링 관리자인 Andrew Portner와 대화를 통해 이러한 기술적 과제 중 하나, 몰입형 음성 커뮤니케이션의 안전성, 그리고 팀의 작업이 모든 사람을 위한 안전하고 시민적인 디지털 환경을 조성하는 데 어떻게 도움이 되는지 자세히 알아봤습니다. 우리 플랫폼.

귀하의 팀이 겪고 있는 가장 큰 기술적 과제는 무엇입니까?

우리는 사용자를 위한 안전하고 긍정적인 경험을 유지하는 것을 최우선으로 생각합니다. 안전과 정중함 우리는 항상 최우선적으로 생각하지만 이를 실시간으로 처리하는 것은 기술적으로 큰 도전이 될 수 있습니다. 문제가 발생할 때마다 이를 실시간으로 검토하고 조치를 취할 수 있기를 원하지만 규모상으로는 쉽지 않습니다. 이러한 규모를 효과적으로 처리하려면 자동화된 안전 시스템을 활용해야 합니다.

우리가 중점을 두는 또 다른 기술적 과제는 조정을 위한 안전 조치의 정확성입니다. 정책 위반을 해결하고 실시간으로 정확한 피드백을 제공하는 두 가지 조정 접근 방식이 있습니다. 바로 사후 조정과 사전 조정입니다. 대응적 조정을 위해 우리는 플랫폼 사용자의 신고에 응답하여 다양한 유형의 정책 위반을 정확하게 식별하는 기계 학습(ML) 모델을 개발하고 있습니다. 우리는 적극적으로 잠재성을 실시간으로 탐지하기 위해 노력하고 있습니다. Google 정책을 위반하는 콘텐츠, 사용자의 행동에 대해 교육합니다. 음성을 이해하고 오디오 품질을 개선하는 것은 복잡한 과정입니다. 우리는 이미 진전을 보고 있지만, 우리의 궁극적인 목표는 정책 위반 행위를 실시간으로 탐지할 수 있는 매우 정확한 모델을 갖는 것입니다.

이러한 기술적 과제를 해결하기 위해 우리가 사용하고 있는 혁신적인 접근 방식과 솔루션에는 어떤 것이 있습니까?

우리는 오디오 데이터를 분석하고 정책 위반 유형(예: 괴롭힘, 욕설 등)에 따라 신뢰 수준을 제공할 수 있는 엔드투엔드 ML 모델을 개발했습니다. 이 모델은 특정 보고서를 자동으로 닫는 기능을 크게 향상시켰습니다. 우리는 모델이 자신감을 갖고 인간보다 뛰어난 성능을 발휘한다고 확신할 수 있을 때 조치를 취합니다. 출시 후 불과 몇 달 만에 우리는 이 모델을 사용하여 거의 모든 영어 음성 남용 신고를 검토할 수 있었습니다. 우리는 이러한 모델을 내부적으로 개발했으며, 이는 수많은 오픈 소스 기술과 그 뒤에 있는 기술을 만들기 위한 자체 작업 간의 협력을 보여주는 증거입니다.

실시간으로 무엇이 적절한지 결정하는 것은 꽤 복잡해 보입니다. 어떻게 작동하나요?

시스템이 상황에 맞게 인식할 수 있도록 하기 위해 많은 생각을 했습니다. 또한 우리는 조치를 취하기 전에 시간 경과에 따른 패턴을 검토하여 우리의 조치가 정당한지 확인할 수 있습니다. 우리의 정책은 개인의 나이, 공개 공간에 있는지, 비공개 채팅에 있는지, 그리고 기타 여러 요인에 따라 미묘한 차이가 있습니다. 우리는 실시간으로 정중함을 고취하는 새로운 방법을 모색하고 있으며 ML이 그 중심에 있습니다. 최근에는 사용자에게 정책을 상기시키기 위해 자동 푸시 알림(또는 "넛지")을 출시했습니다. 또한 사람의 의도를 더 잘 이해하고 비꼬는 말이나 농담 등을 구별하기 위해 목소리 톤과 같은 다른 요소도 조사하고 있습니다. 마지막으로, 어떤 사람들은 여러 언어를 사용하거나 심지어 문장 중간에 언어를 바꾸는 경우도 있기 때문에 우리는 다국어 모델도 구축하고 있습니다. 이것이 가능하려면 정확한 모델이 있어야 합니다.

현재 우리는 괴롭힘, 차별, 욕설 등 가장 두드러진 형태의 학대를 해결하는 데 중점을 두고 있습니다. 이는 남용 신고의 대부분을 차지합니다. 우리의 목표는 이러한 영역에 큰 영향을 미치고 시민 온라인 대화를 촉진하고 유지하는 방법에 대한 업계 표준을 설정하는 것입니다. ML을 실시간으로 사용하면 모든 사람을 위한 안전하고 시민적인 경험을 효과적으로 조성할 수 있다는 점에 대해 매우 기대하고 있습니다.

Roblox에서 해결하고 있는 과제는 어떻게 독특한가요? 우리가 먼저 해결해야 할 위치는 무엇입니까?

당사의 공간 음성으로 채팅 기술은 실제 커뮤니케이션을 모방하여 더욱 몰입도 높은 경험을 만들어냅니다. 예를 들어, 내가 누군가의 왼쪽에 서 있으면 그 사람의 왼쪽 귀로 내 소리가 들립니다. 우리는 현실 세계에서 의사소통이 어떻게 작동하는지에 대한 아날로그를 만들고 있으며 이것이 우리가 가장 먼저 해결해야 할 과제입니다.

저도 게이머로서 온라인 게임에서 괴롭힘과 따돌림을 많이 목격했습니다. 사용자 익명성과 결과 부족으로 인해 종종 확인되지 않는 문제입니다. 그러나 우리가 이 문제를 해결하고 있는 기술적 과제는 몇 가지 영역에서 다른 플랫폼이 직면하고 있는 것과는 다릅니다. 일부 게임 플랫폼에서는 상호 작용이 팀원으로 제한됩니다. Roblox는 실제 생활과 더욱 유사하게 구성된 소셜 환경에서 다양한 행아웃 방법을 제공합니다. ML 및 실시간 신호 처리의 발전을 통해 우리는 악의적인 행동을 효과적으로 감지하고 해결할 수 있습니다. 이는 보다 현실적인 환경일 뿐만 아니라 모든 사람이 다른 사람과 상호 작용하고 연결하기에 안전하다고 느끼는 환경임을 의미합니다. 우리의 기술, 몰입형 플랫폼, 정책에 대한 사용자 교육에 대한 노력의 결합으로 우리는 이러한 과제를 정면으로 해결할 수 있는 위치에 있게 되었습니다.

이 기술 작업을 수행하면서 배운 주요 내용은 무엇입니까?

정말 많은 것을 배운 것 같아요. 저는 ML 엔지니어가 아닙니다. 저는 주로 게임 프론트엔드에서 일해왔기 때문에 이러한 모델이 어떻게 작동하는지에 대해 제가 가진 것보다 더 깊이 파고들 수 있다는 것은 정말 큰 일이었습니다. 예의를 갖추기 위해 우리가 취하는 조치가 온라인 커뮤니티에서 그동안 부족했던 공감 수준으로 전환되기를 바랍니다.

마지막으로 배운 점은 모든 것이 입력한 훈련 데이터에 달려 있다는 것입니다. 그리고 데이터가 정확하려면 인간이 특정 정책 위반 행동을 분류하는 데 사용되는 레이블에 동의해야 합니다. 모두가 동의할 수 있는 양질의 데이터를 교육하는 것이 정말 중요합니다. 정말 해결하기 어려운 문제입니다. ML이 다른 모든 것보다 훨씬 앞서 있는 영역과 아직 초기 단계에 있는 다른 영역이 보이기 시작합니다. ML이 계속 성장하고 있는 영역이 여전히 많기 때문에 현재의 한계를 인식하는 것이 중요합니다.

귀하의 팀은 어떤 Roblox 가치에 가장 부합합니까?

커뮤니티를 존중하는 것은 이 과정 전반에 걸쳐 우리의 지침 가치입니다. 첫째, 플랫폼의 예의를 향상하고 정책 위반을 줄이는 데 중점을 두어야 합니다. 이는 전반적인 사용자 경험에 큰 영향을 미칩니다. 둘째, 이러한 새로운 기능을 어떻게 출시할지 신중하게 고려해야 합니다. 우리는 모델의 오탐(예: 무언가를 남용으로 잘못 표시)을 염두에 두고 사용자에게 잘못 불이익을 주는 것을 방지해야 합니다. 모델의 성능과 모델이 사용자 참여에 미치는 영향을 모니터링하는 것이 중요합니다.

Roblox와 팀이 향하는 방향에서 가장 흥미로운 점은 무엇인가요?

우리는 대중의 목소리 커뮤니케이션을 개선하는 데 상당한 진전을 이루었지만 아직 해야 할 일이 많이 남아 있습니다. 사적인 의사소통은 흥미로운 탐구 영역입니다. 저는 사적인 의사소통을 개선하고, 사용자가 친한 친구에게 자신을 표현할 수 있도록 하고, 경험 전반에 걸쳐 또는 경험 중에 친구들과 교류하는 동안 음성 통화를 할 수 있도록 하는 엄청난 기회가 있다고 생각합니다. 또한 사용자가 스스로 조직하고, 커뮤니티에 가입하고, 콘텐츠를 공유하고, 아이디어를 공유할 수 있는 더 나은 도구를 사용하여 이러한 커뮤니티를 육성할 수 있는 기회도 있다고 생각합니다.

우리가 지속적으로 성장함에 따라 이러한 확장되는 커뮤니티를 지원하기 위해 채팅 기술을 어떻게 확장합니까? 우리는 우리가 할 수 있는 많은 일을 표면적으로만 시도하고 있으며, 이전에는 볼 수 없었던 방식으로 업계 전반에 걸쳐 온라인 커뮤니케이션과 협업의 정중함을 향상할 수 있는 기회가 있다고 생각합니다. 적절한 기술과 ML 기능을 통해 우리는 민간 온라인 커뮤니케이션의 미래를 형성할 수 있는 독특한 위치에 있습니다.