Скоро ли Meta принесет в квест фотореалистичные «аватары-кодеки»?

Переиздано Платоном

Читают: 0

Обнаружение прошивки показывает, что Meta находится на пути к внедрению фотореалистичных «аватаров кодеков» в свои гарнитуры Quest.

Codec Avatars — это многолетний научно-исследовательский проект Meta, целью которого является революционизация удаленного общения путем создания по-настоящему убедительных фотореалистичных аватаров, управляемых в реальном времени с помощью гарнитур с датчиками отслеживания лица, а в конечном итоге и очков. Мета впервые рассказала о существовании проекта в 2019и продемонстрировал несколько обновления верности в последующие годы, а также полноразмерная версия.

[Встраиваемое содержимое]

В этом интервью неясно, декодировались и визуализировались ли аватары на борту, или эту работу выполнял ПК. К обеим гарнитурам подключен кабель USB-C.

Хотя Codec Avatars всегда считался областью исследований, новое открытие предполагает, что теперь он вполне может стать функцией гарнитур Quest.

энтузиаст виртуальной реальности луна нашел ссылки на аватары кодеков, декомпилировав версию 62 прошивки Meta Quest, которая в настоящее время доступна тестерам на общедоступном тестовом канале.

Предстоящие функции квеста были обнаружены таким образом несколько раз в прошлом. Это говорит нам о том, что Meta работает над интеграцией этой функции в гарнитуры Quest. Однако это не говорит нам о том, насколько далеко эта функция находится и будет ли она вообще когда-либо реализована. Например, Чувство пространства прибыл через несколько месяцев после того, как был замечен в прошивке, при этом Квест Pro заняло больше года. И ссылки на интеграцию Discord и Проект Лавина Функция потоковой передачи виртуальной реальности на облачном ПК была замечена уже много лет, но ни одна из них так и не была реализована.

В марте прошлого года технический директор Meta Эндрю Босворт — сказал компания «добилась прогресса» в поставке аватаров-кодеков, но предупредила, что «до этого еще много лет».

Строки найдены в прошивке Quest от Luna.

Также неясно, разрабатывается ли эта функция для существующих гарнитур Quest или для будущей Quest Pro 2.

В марте прошлого года в The Verge просочилась информация о планах разработки аппаратного обеспечения Meta Quest. Помимо раскрытия подробностей о Quest 3 и предстоящей более дешевой гарнитуре, которая, по слухам, будет называться Quest 3 Lite, в дорожной карте упоминается новая гарнитура Quest Pro «выход в будущее», который будет включать аватары кодеков.

Но вполне возможно, что Meta намерена добавить аватары-кодеки в существующий Quest Pro или даже в Quest 2 и Quest 3.

Аватары кодеков декодируются в автономном режиме Quest 2.

В 2021 году исследователи Меты продемонстрировали значительно более эффективный метод декодирования аватаров кодеков. В Quest 2 новый метод может отображать один аватар кодека в пустой сцене со скоростью 72 кадра в секунду, три аватара кодека со скоростью около 63 кадров в секунду или пять со скоростью около 43 кадров в секунду.

Но как можно было управлять этими аватарами в Quest 2 и Quest 3, в которых отсутствует отслеживание лица и глаз? Мета-исследователи также продемонстрировали версию Codec Avatars, которая не требует отслеживания лица, а недавно даже появилась версия, что вообще не требует никакого отслеживания. Вместо этого звук с микрофона передается в нейронную сеть, которая оценивает вероятную позу лица для текущего речевого паттерна.

Тем не менее, вполне возможно, что Meta захочет зарезервировать аватары кодеков для будущего Quest Pro 2, достаточно мощного, чтобы поддерживать аватары кодеков в будущем. Мастерские Horizon встречи и проводить их с помощью реального отслеживания лиц.

Специализированная установка для захвата, используемая для кодеков-аватаров высочайшего качества.

Независимо от того, для каких конкретных гарнитур Quest предназначена поставляемая функция Codec Avatars, качество почти наверняка не будет таким же, как в самых впечатляющих демо-версиях Meta, таких как интервью Лекса Фридмана с Марком Цукербергом. В этих демонстрациях и в этом интервью использовались аватары-кодеки, созданные с помощью специализированной установки захвата с более чем 100 камерами.

[Встраиваемое содержимое]

Мета-исследователи работают над заменой этого процесса. со сканированием смартфона, необходимо для фактической поставки аватаров кодеков в большом масштабе, но это дает результат более низкого качества. Quest Pro 2 может включать в себя передний дисплей и датчики глубины для настройки аватара, например Apple Vision Pro использует для своих персон, но это все равно не будет соответствовать специализированной установке для захвата.

Тем не менее, любая версия Codec Avatars должна быть значительным улучшением по сравнению с текущими аватарами Meta, которые имеют базовый мультяшный художественный стиль, который не может быть дальше от фотореализма. В ближайшие месяцы мы будем внимательно следить за Meta, чтобы увидеть любые дальнейшие намеки на то, что аватары кодеков находятся на пути к производству.