Meta незабаром представить фотореалістичні «аватари кодеків» для квесту?

Перевидано Платоном

читають: 0

Знахідка прошивки свідчить про те, що Meta вже на шляху до впровадження своїх фотореалістичних «Codec Avatars» у свої гарнітури Quest.

Codec Avatars — це тривалий науково-дослідний проект Meta, спрямований на революцію у віддаленому спілкуванні шляхом створення справді переконливих фотореалістичних аватарів, що керуються в режимі реального часу за допомогою гарнітур із датчиками відстеження обличчя та, зрештою, також окулярів. Meta вперше виявила існування проекту У 2019, і продемонстрував кілька оновлення вірності у наступні роки, а також a повна версія.

[Вбудоване вміст]

У цьому інтерв’ю незрозуміло, чи аватари декодувалися та рендерилися на борту, чи це робив ПК. Кабель USB-C під’єднано до обох гарнітур.

Хоча Codec Avatars завжди описували як сферу досліджень, нове відкриття свідчить про те, що тепер він може стати частиною гарнітур Quest.

VR-ентузіаст Місяць знайшов посилання на Codec Avatars, декомпілювавши версію 62 мікропрограми Meta Quest, яка наразі доступна для тестувальників у Public Test Channel.

У минулому такі функції виявлялися неодноразово у майбутніх квестах. Це повідомляє нам, що Meta працює над інтеграцією функції в гарнітури Quest. Однак це не говорить нам, наскільки далеко доступна функція та чи буде вона взагалі колись доставлена. Наприклад, Відчуття космосу прибув через кілька місяців після того, як був помічений у мікропрограмі, тоді як QuestPro зайняло більше року. І посилання на інтеграцію Discord і a Проект Лавина Хмарна функція потокової передачі віртуальної реальності ПК була помічена вже багато років, але жодна з них не поставлялася.

У березні минулого року технічний директор Meta Ендрю Босуорт сказав компанія «домагалася прогресу» в постачанні кодеків-аватарів, але попередила, що «нам ще багато років».

Рядки, знайдені в прошивці Quest від Luna.

Також неясно, чи ця функція розробляється для існуючих гарнітур Quest чи майбутнього Quest Pro 2.

У березні минулого року в The Verge просочився апаратний нарад Meta Quest. Окрім розкриття подробиць Quest 3 і майбутньої дешевшої гарнітури, яка, за чутками, називатиметься Quest 3 Lite, згадана дорожня карта нову гарнітуру Quest Pro «вихід у майбутнє», який включатиме аватари кодеків.

Але цілком можливо, що Meta має намір додати аватари-кодеки в існуючий Quest Pro або навіть Quest 2 і Quest 3.

Кодек Аватари розшифровуються в автономному квесті 2.

У 2021 році дослідники Meta продемонстрували a значно ефективніший метод декодування кодеків-аватарів. У Quest 2 новий метод міг рендерити один кодек-аватар у порожній сцені зі швидкістю 72 кадри/с, три кодеки-аватари зі швидкістю приблизно 63 кадри/с або п’ять зі швидкістю приблизно 43 кадри/с.

Але як можна керувати цими аватарами в Quest 2 і Quest 3, у яких немає відстеження обличчя та очей? Дослідники Meta також продемонстрували версію Codec Avatars, яка не потребує відстеження обличчя, а нещодавно навіть версія, що взагалі не потребує відстеження. Натомість аудіо з мікрофона подається в нейронну мережу, яка оцінює ймовірну позу обличчя для поточної моделі мовлення.

Тим не менш, цілком можливо, що Meta захоче зарезервувати аватари кодеків для майбутнього Quest Pro 2, достатньо потужного для підтримки аватарів кодеків у Робочі кімнати Horizon зустрічі та керуйте ними за допомогою реального відстеження обличчя.

Спеціалізована установка захоплення, яка використовується для кодеків-аватарів найвищої якості.

Незалежно від того, для яких конкретних гарнітур Quest призначена функція Codec Avatars, якість майже напевно не буде такою ж, як у найбільш вражаючих демонстраціях Meta, таких як інтерв'ю Лекса Фрідмана з Марком Цукербергом. У цих демонстраціях і інтерв’ю використовувалися кодеки-аватари, створені за допомогою спеціального обладнання для захоплення з понад 100 камерами.

[Вбудоване вміст]

Дослідники Meta працювали над тим, щоб замінити цей процес зі скануванням смартфона, необхідний для фактичної доставки кодеків-аватарів у масштабі, але це дає a нижча якість результату. Quest Pro 2 може містити передній дисплей і датчики глибини для налаштування аватарів Apple Vision Pro використовує для своїх Personas, але це все одно не буде відповідати спеціалізованій установці захоплення.

Тим не менш, будь-яка версія Codec Avatars повинна бути значною кращиною в порівнянні з поточними аватарами Meta, які мають базовий художній стиль мультфільму, який не може бути далі від фотореалізму. У найближчі місяці ми будемо уважно стежити за Meta, щоб не виявити будь-яких натяків на те, що Codec Avatars на шляху до виробництва.