Meta 是否很快就会为 Quest 带来照片级真实“编解码器头像”?

Meta 是否很快就会为 Quest 带来照片级真实“编解码器头像”?

源节点: 3083610

固件发现表明 Meta 正在顺利地将其逼真的“编解码器头像”引入其 Quest 耳机。

Codec Avatars 是 Meta 的长期研发项目,旨在通过带有面部跟踪传感器的耳机以及最终的眼镜实时驱动真正令人信服的照片级真实化身,从而彻底改变远程通信。 Meta 首先透露了该项目的存在 在2019,并展示了多个 保真更新 从那以后的几年以及 全身版.

[嵌入的内容]

在这次采访中,尚不清楚化身是否在机上被解码和渲染,或者是否由 PC 进行这项工作。 USB-C 电缆已连接到两个耳机。

虽然编解码器化身一直被描述为处于研究领域,但一项新的发现表明,它现在可能会成为 Quest 耳机的一项功能。

VR爱好者 卢纳 通过反编译 Meta Quest 固件版本 62,发现了对 Codec Avatars 的引用,该固件目前可供公共测试频道中的测试人员使用。

过去,我们已经多次以这种方式发现即将推出的 Quest 功能。它告诉我们,Meta 正在努力在 Quest 耳机上集成一项功能。然而,它并没有告诉我们该功能还有多远,或者它是否会真正发布。例如, 空间感 在固件中被发现后几个月到达,而 探索专业版 花了一年多的时间。以及对 Discord 集成和 雪崩计划 云PC VR流媒体功能已经被发现很多年了,但都没有发货。

去年3月Meta CTO Andrew Bosworth 说过 该公司在交付编解码器化身方面“取得了进展”,但警告说“我们还需要几年的时间”。

Luna 在 Quest 固件中发现的字符串。

目前还不清楚该功能是为现有的 Quest 耳机还是未来的 Quest Pro 2 开发。

去年 3 月,Meta Quest 硬件路线图会议被泄露给 The Verge。除了透露 Quest 3 和即将推出的更便宜耳机(传闻称为 Quest XNUMX Lite)的细节外,路线图还提到 全新 Quest Pro 耳机 “未来的出路”将包括编解码器头像。

但 Meta 可能打算将 Codec Avatars 引入现有的 Quest Pro,甚至 Quest 2 和 Quest 3。

编解码器头像在 Quest 2 上独立解码。

2021 年,Meta 研究人员展示了 显着更有效的方法 解码编解码器头像。在 Quest 2 上,新方法可以在空白场景中以 72FPS 的速度渲染一个 Codec Avatar,以 63FPS 左右的速度渲染三个 Codec Avatar,或者以 43FPS 左右的速度渲染 XNUMX 个 Codec Avatar。

但这些化身如何在缺乏面部和眼球追踪功能的 Quest 2 和 Quest 3 上驱动呢?元研究人员还展示了编解码器化身的一个版本 不需要面部追踪,最近甚至还有一个版本 根本不需要任何跟踪。相反,来自麦克风的音频被输入神经网络,该网络估计当前语音模式可能的面部姿势。

尽管如此,Meta 完全有可能希望为未来的 Quest Pro 2 保留编解码器化身,功能强大到足以支持编解码器化身 地平线工作室 会议,并通过真实的面部跟踪来推动会议。

用于最高质量编解码器头像的专用捕获装置。

无论交付的 Codec Avatars 功能适用于哪种特定 Quest 耳机,其质量几乎肯定不会与 Meta 最令人印象深刻的演示相同,例如 莱克斯·弗里德曼采访 与马克·扎克伯格。这些演示和采访使用了由 100 多个摄像机组成的专用捕捉设备生成的编解码器头像。

[嵌入的内容]

元研究人员一直在努力取代这个过程 通过智能手机扫描,对于大规模交付编解码器化身是必要的,但这给出了 较低质量的结果。 Quest Pro 2 可能包括一个前置显示屏和深度传感器,用于头像设置,例如 Apple Vision Pro 用于其角色,但这仍然不匹配专门的捕获装置。

尽管如此,任何版本的 Codec Avatars 都应该比 Meta 当前的头像有了巨大的改进,后者具有基本的卡通艺术风格,与照片写实主义相差甚远。在接下来的几个月里,我们将密切关注 Meta,以了解 Codec Avatars 走向产品化的任何进一步迹象。

VR 的杀手级应用可能是全身编解码器化身

在华盛顿州 Meta 研究办公室进行为期一天的访问时,最后的演示无疑是最令人难忘的——真正的远程呈现。在消费类硬件中实现真正的远程呈现可能是消费者最难准备的想法之一。或许也是解开VR杀手锏的钥匙

时间戳记:

更多来自 UploadVR