Meta가 곧 Quest에 Photoreal 'Codec Avatars'를 제공합니까?

플라톤에 의해 재발행

팔로워 : 0

펌웨어 조사에 따르면 Meta는 사진처럼 사실적인 '코덱 아바타'를 Quest 헤드셋에 도입하는 과정이 잘 진행되고 있는 것으로 나타났습니다.

Codec Avatars는 얼굴 추적 센서가 있는 헤드셋과 안경을 통해 실시간으로 구동되는 실제로 사실적인 아바타를 구현함으로써 원격 통신에 혁명을 일으키는 것을 목표로 하는 Meta의 장기 연구 개발 프로젝트입니다. 메타가 프로젝트의 존재를 최초로 공개했습니다. 2019년, 다양한 모습을 선보였습니다. 충실도 업데이트 그 이후 몇 년 동안뿐만 아니라 전신 버전.

[포함 된 콘텐츠]

이 인터뷰에서는 아바타가 온보드에서 디코딩 및 렌더링되고 있는지, 아니면 PC가 이 작업을 수행하고 있는지가 확실하지 않습니다. USB-C 케이블이 두 헤드셋 모두에 연결되어 있습니다.

코덱 아바타는 항상 연구 영역으로 설명되어 왔지만, 새로운 발견에 따르면 이제 Quest 헤드셋의 기능으로 등장할 가능성이 높습니다.

VR 매니아 루나 현재 공개 테스트 채널에서 테스터가 사용할 수 있는 Meta Quest 펌웨어 버전 62를 디컴파일하여 코덱 아바타에 대한 참조를 찾았습니다.

앞으로 나올 Quest 기능은 과거에도 이런 방식으로 여러 번 발견되었습니다. Meta가 Quest 헤드셋에 기능을 통합하기 위해 노력하고 있음을 알려줍니다. 그러나 기능이 얼마나 멀리 떨어져 있는지 또는 실제로 출시될지 여부는 알려주지 않습니다. 예를 들어, 공간 감각 펌웨어에서 발견된 지 몇 달 만에 도착했지만 퀘스트 프로 1년 넘게 걸렸다. 그리고 Discord 통합에 대한 언급과 프로젝트 눈사태 클라우드 PC VR 스트리밍 기능은 수년 동안 발견되었지만 둘 다 출시되지 않았습니다.

지난해 3월 메타 CTO 앤드루 보스워스 말했다 회사는 코덱 아바타 출시에 대해 "진행 중"이지만 "아직 몇 년 남았습니다"라고 경고했습니다.

Luna의 Quest 펌웨어에서 문자열이 발견되었습니다.

이 기능이 기존 Quest 헤드셋용으로 개발되고 있는지, 아니면 향후 Quest Pro 2용으로 개발되고 있는지도 확실하지 않습니다.

지난해 3월 메타퀘스트 하드웨어 로드맵 회의가 더버지(The Verge)에 유출됐다. Quest 3의 세부 정보와 Quest XNUMX Lite라고 불리는 곧 출시될 저렴한 헤드셋에 대한 정보가 로드맵에 언급되어 있습니다. 새로운 Quest Pro 헤드셋 코덱 아바타가 포함될 "미래의 탈출구"입니다.

그러나 Meta가 코덱 아바타를 기존 Quest Pro 또는 Quest 2 및 Quest 3에 도입할 가능성이 있습니다.

Quest 2 독립 실행형에서 코덱 아바타가 디코딩되고 있습니다.

2021년에 메타 연구자들은 훨씬 더 효율적인 방법 코덱 아바타 디코딩. Quest 2에서 새로운 방법은 빈 장면에서 최대 72FPS로 코덱 아바타 63개, 약 43FPS로 코덱 아바타 XNUMX개, 약 XNUMXFPS로 XNUMX개를 렌더링할 수 있습니다.

하지만 얼굴과 시선 추적 기능이 모두 부족한 Quest 2와 Quest 3에서 이러한 아바타를 어떻게 구동할 수 있을까요? 메타 연구자들은 또한 다음과 같은 코덱 아바타 버전을 시연했습니다. 얼굴 추적이 필요하지 않습니다, 그리고 최근에는 추적이 전혀 필요하지 않습니다. 대신, 마이크의 오디오는 현재 음성 패턴에 대한 예상 얼굴 자세를 추정하는 신경망에 입력됩니다.

그럼에도 불구하고 Meta가 Codec Avatar를 지원하기에 충분히 강력한 향후 Quest Pro 2를 위해 Codec Avatar를 예약하기를 원할 가능성은 전적으로 가능합니다. 호라이즌 작업실 회의를 진행하고 실제 얼굴 추적을 통해 회의를 진행하세요.

최고 품질의 코덱 아바타에 사용되는 특수 캡처 장비입니다.

배송 코덱 아바타 기능이 어떤 특정 Quest 헤드셋을 대상으로 하는지에 관계없이 품질은 거의 확실히 다음과 같은 Meta의 가장 인상적인 데모와 동일하지 않습니다. 렉스 프리드먼 인터뷰 마크 주커버그와 함께. 해당 데모와 인터뷰에서는 100개 이상의 카메라가 장착된 특수 캡처 장비를 사용하여 생성된 코덱 아바타를 사용했습니다.

[포함 된 콘텐츠]

메타 연구자들은 이 프로세스를 대체하기 위해 노력해 왔습니다. 스마트폰 스캔으로, 실제로 코덱 아바타를 대규모로 출시하는 데 필요하지만 이는 품질이 낮은 결과. Quest Pro 2에는 다음과 같은 아바타 설정을 위한 전면 디스플레이와 깊이 센서가 포함될 수 있습니다. Apple Vision Pro는 페르소나에 사용됩니다., 그러나 이것은 여전히 특수 캡처 장비와 일치하지 않습니다.

그럼에도 불구하고 코덱 아바타의 모든 버전은 포토리얼리즘에서 더 이상 벗어날 수 없는 기본적인 만화 같은 아트 스타일을 가진 Meta의 현재 아바타에 비해 극적인 개선이 되어야 합니다. 우리는 코덱 아바타가 제품화되는 과정에 대한 추가 힌트가 있는지 앞으로 몇 달 동안 Meta를 면밀히 관찰할 것입니다.