技术内部 - 解决沉浸式语音通信的安全问题 - Roblox 博客

由柏拉图重新发布

关注： 0

Inside the Tech 是一个博客系列，伴随着我们技术讲座播客。在播客第 20 集中，Roblox 头像的演变，Roblox 首席执行官 David Baszucki 与工程高级总监 Kiran Bhat、产品高级总监 Mahesh Ramasubramanian 和首席产品经理 Effie Goenawan 进行了交谈，讨论了沉浸式沟通的未来通过化身和我们正在解决的技术挑战来为其提供动力。在本期《技术内部》中，我们与高级工程经理 Andrew Portner 进行了交谈，详细了解了这些技术挑战之一、沉浸式语音通信的安全性，以及该团队的工作如何帮助为所有人营造一个安全、文明的数字环境。我们的平台。

您的团队面临的最大技术挑战是什么？

我们优先考虑为用户维护安全和积极的体验。安全文明对我们来说始终是首要考虑的问题，但实时处理它可能是一个巨大的技术挑战。每当出现问题时，我们都希望能够实时审查并采取行动，但考虑到我们的规模，这具有挑战性。为了有效地应对这种规模，我们需要利用自动化安全系统。

我们关注的另一个技术挑战是我们的审核安全措施的准确性。有两种审核方法可以解决政策违规问题并实时提供准确的反馈：被动审核和主动审核。对于反应式审核，我们正在开发机器学习 (ML) 模型，以准确识别不同类型的政策违规行为，该模型通过响应平台上人员的报告来发挥作用。我们正在积极主动地实时检测潜在的违反我们政策的内容，教育用户有关他们的行为。理解口语并提高音频质量是一个复杂的过程。我们已经看到了进展，但我们的最终目标是拥有一个高度精确的模型，可以实时检测违反政策的行为。

我们正在使用哪些创新方法和解决方案来应对这些技术挑战？

我们开发了一个端到端的机器学习模型，可以分析音频数据，并根据政策违规类型（例如，欺凌、脏话等的可能性有多大）提供置信度。该模型显着提高了我们自动关闭某些报告的能力。当我们的模型有信心并且可以确定它优于人类时，我们就会采取行动。在推出后的短短几个月内，我们就能够使用该模型来审核几乎所有英语语音滥用报告。我们在内部开发了这些模型，这证明了许多开源技术与我们自己创建其背后技术的工作之间的协作。

实时确定什么是合适的似乎相当复杂。这是如何运作的？

为了让系统具备情境感知能力，我们投入了很多心思。在采取行动之前，我们还会研究一段时间内的模式，以便确保我们的行动是合理的。我们的政策会根据个人的年龄、是在公共场所还是私人聊天以及许多其他因素而有细微差别。我们正在探索实时促进文明文明的新方法，而机器学习是其中的核心。我们最近推出了自动推送通知（或“推送”），以提醒用户我们的政策。我们还在研究语气等其他因素，以更好地理解一个人的意图并区分讽刺或笑话等内容。最后，我们还在构建一个多语言模型，因为有些人会说多种语言，甚至会在句子中切换语言。为了使这一切成为可能，我们必须有一个准确的模型。

目前，我们的重点是解决最突出的虐待形式，例如骚扰、歧视和亵渎。这些构成了滥用报告的大部分。我们的目标是在这些领域产生重大影响，并为促进和维护公民在线对话制定行业规范。我们对实时使用机器学习的潜力感到兴奋，因为它使我们能够有效地为每个人营造安全和文明的体验。

我们在 Roblox 解决的挑战有何独特之处？我们首先要解决什么问题？

我们的与空间语音聊天技术创造了更加身临其境的体验，模仿现实世界的沟通。例如，如果我站在某人的左边，他们会在左耳听到我的声音。我们正在创建一个模拟现实世界中沟通方式的方式，这是我们首先要解决的挑战。

作为一名游戏玩家，我目睹了很多网络游戏中的骚扰和欺凌行为。由于用户匿名且缺乏后果，这个问题经常得不到控制。然而，我们正在解决的技术挑战与其他平台在几个领域面临的挑战是独一无二的。在某些游戏平台上，互动仅限于队友。 Roblox 提供了多种在更接近现实生活的社交环境中进行聚会的方式。随着机器学习和实时信号处理的进步，我们能够有效地检测和解决滥用行为，这意味着我们不仅是一个更现实的环境，而且是一个每个人都感到可以安全地与他人互动和联系的环境。我们的技术、沉浸式平台以及对用户进行政策教育的承诺相结合，使我们能够直面这些挑战。

您从这项技术工作中学到了哪些关键知识？

我觉得我学到了很多东西。我不是机器学习工程师。我主要从事游戏前端工作，因此能够比我更深入地了解这些模型的工作原理已经是巨大的了。我希望我们为促进文明而采取的行动能够转化为在线社区所缺乏的同理心。

最后一个教训是，一切都取决于您输入的训练数据。为了使数据准确，人们必须就用于对某些违反政策的行为进行分类的标签达成一致。使用每个人都同意的高质量数据进行训练非常重要。这确实是一个很难解决的问题。你开始看到机器学习在某些领域远远领先于其他领域，然后在其他领域仍处于早期阶段。机器学习在许多领域仍在增长，因此认识到其当前的局限性至关重要。

您的团队最符合哪种 Roblox 价值观？

尊重社区是我们在整个过程中的指导价值观。首先，我们需要注重提高文明程度，减少平台上的违规行为。这对整体用户体验有重大影响。其次，我们必须仔细考虑如何推出这些新功能。我们需要注意模型中的误报（例如，错误地将某些内容标记为滥用），并避免错误地惩罚用户。监控模型的性能及其对用户参与度的影响至关重要。

Roblox 和您的团队的发展方向最让您兴奋的是什么？

我们在改善公共语音通信方面取得了重大进展，但仍有许多工作要做。私人通信是一个值得探索的令人兴奋的领域。我认为有一个巨大的机会来改善私人沟通，允许用户向亲密的朋友表达自己，在体验过程中或在体验过程中与朋友互动时进行语音通话。我认为还有机会通过更好的工具来培育这些社区，使用户能够自我组织、加入社区、共享内容和分享想法。

随着我们的不断发展，我们如何扩展我们的聊天技术来支持这些不断扩大的社区？我们能做的很多事情都只是触及表面，我认为有机会以一种前所未有的方式提高整个行业在线交流和协作的文明程度。凭借正确的技术和机器学习功能，我们在塑造民用在线通信的未来方面处于独特的地位。