Meta กำลังนำ 'Codec Avatars' ของ Photoreal มาสู่ Quest เร็ว ๆ นี้หรือไม่?

เผยแพร่ซ้ำโดยเพลโต

ผู้ติดตาม: 0

การค้นพบเฟิร์มแวร์ชี้ให้เห็นว่า Meta กำลังนำ 'Codec Avatars' ที่เหมือนจริงมาสู่ชุดหูฟัง Quest

Codec Avatars เป็นโครงการวิจัยและพัฒนาที่ดำเนินมายาวนานของ Meta โดยมีเป้าหมายที่จะปฏิวัติการสื่อสารระยะไกลด้วยการบรรลุอวตารที่สมจริงเหมือนภาพถ่ายที่น่าเชื่อถืออย่างแท้จริง ซึ่งขับเคลื่อนแบบเรียลไทม์ด้วยชุดหูฟังที่มีเซ็นเซอร์ติดตามใบหน้า และในที่สุดก็สวมแว่นตาด้วย Meta เปิดเผยการมีอยู่ของโครงการเป็นครั้งแรก ใน 2019และได้แสดงออกมาหลายรายการ การอัปเดตความเที่ยงตรง ในช่วงหลายปีที่ผ่านมาเช่นเดียวกับก รุ่นเต็มตัว.

[เนื้อหาฝัง]

ในการสัมภาษณ์ครั้งนี้ ยังไม่ชัดเจนว่าอวตารนั้นได้รับการถอดรหัสและเรนเดอร์บนเครื่องหรือไม่ หรือพีซีกำลังทำงานนี้อยู่หรือไม่ สาย USB-C เชื่อมต่อกับชุดหูฟังทั้งสองตัว

ในขณะที่ Codec Avatars ได้รับการอธิบายว่าอยู่ในขอบเขตของการวิจัยมาโดยตลอด แต่การค้นพบใหม่ชี้ให้เห็นว่าตอนนี้อาจอยู่ในเส้นทางที่จะมาถึงในฐานะฟีเจอร์ในชุดหูฟัง Quest

ผู้ชื่นชอบ VR Luna พบการอ้างอิงถึง Codec Avatars โดยการถอดรหัสเฟิร์มแวร์ Meta Quest เวอร์ชัน 62 ซึ่งปัจจุบันมีให้บริการสำหรับผู้ทดสอบใน Public Test Channel

ฟีเจอร์ภารกิจที่กำลังจะมีขึ้นถูกค้นพบด้วยวิธีนี้หลายครั้งในอดีต มันบอกเราว่า Meta กำลังทำงานเพื่อรวมคุณสมบัติเข้ากับชุดหูฟัง Quest อย่างไรก็ตาม มันไม่ได้บอกเราว่าฟีเจอร์นี้อยู่ไกลแค่ไหน หรือจะมีการจัดส่งจริงหรือไม่ ตัวอย่างเช่น, ความรู้สึกอวกาศ มาถึงไม่กี่เดือนหลังจากพบเห็นในเฟิร์มแวร์ในขณะที่ เควสโปร ใช้เวลากว่าหนึ่งปี และการอ้างอิงถึงการรวม Discord และ โครงการถล่ม คุณลักษณะการสตรีมบนคลาวด์พีซี VR ได้รับการพบเห็นมานานหลายปีแล้ว แต่ยังไม่ได้จัดส่ง

ในเดือนมีนาคมปีที่แล้ว Meta CTO Andrew Bosworth กล่าวว่า บริษัทกำลัง "กำลังดำเนินการ" ในการจัดส่ง Codec Avatars แต่เตือนว่า "เรายังต้องใช้เวลาอีกหลายปี"

สตริงที่พบในเฟิร์มแวร์ Quest โดย Luna

ยังไม่ชัดเจนว่าคุณสมบัตินี้ได้รับการพัฒนาสำหรับชุดหูฟัง Quest ที่มีอยู่หรือ Quest Pro 2 ในอนาคต

ในเดือนมีนาคมปีที่แล้ว การประชุมแผนงานฮาร์ดแวร์ Meta Quest รั่วไหลไปยัง The Verge เช่นเดียวกับการเปิดเผยรายละเอียดของ Quest 3 และชุดหูฟังราคาถูกที่กำลังจะมาถึงซึ่งมีข่าวลือว่า Quest 3 Lite แผนงานดังกล่าว ชุดหูฟัง Quest Pro ใหม่ “ทางออกในอนาคต” ที่จะรวมถึง Codec Avatars

แต่เป็นไปได้ว่า Meta ตั้งใจที่จะนำ Codec Avatars มาสู่ Quest Pro ที่มีอยู่ หรือแม้แต่ Quest 2 และ Quest 3

Codec Avatars ถูกถอดรหัสบน Quest 2 แบบสแตนด์อโลน

ในปี 2021 นักวิจัย Meta ได้สาธิตก วิธีการที่มีประสิทธิภาพมากขึ้นอย่างเห็นได้ชัด ของการถอดรหัสอวตารของ Codec ในภารกิจที่ 2 วิธีการใหม่สามารถเรนเดอร์ Codec Avatar หนึ่งตัวในฉากว่างที่ 72FPS เต็ม, Codec Avatar สามอันที่ประมาณ 63FPS หรือห้าอันที่ประมาณ 43FPS

แต่อวตารเหล่านี้จะขับเคลื่อนในภารกิจที่ 2 และภารกิจที่ 3 ซึ่งขาดทั้งการติดตามใบหน้าและดวงตาได้อย่างไร นักวิจัยเมตายังได้สาธิต Codec Avatars เวอร์ชันหนึ่งด้วย ไม่ต้องการการติดตามใบหน้าและล่าสุดก็ได้มีเวอร์ชั่นที่ ไม่ต้องการการติดตามใดๆ เลย. แต่เสียงจากไมโครโฟนจะถูกป้อนเข้าสู่โครงข่ายประสาทเทียมซึ่งจะประเมินท่าทางใบหน้าที่เป็นไปได้สำหรับรูปแบบคำพูดในปัจจุบัน

ถึงกระนั้น ก็เป็นไปได้โดยสิ้นเชิงที่ Meta จะต้องการจอง Codec Avatars สำหรับ Quest Pro 2 ในอนาคตที่มีประสิทธิภาพเพียงพอที่จะรองรับ Codec Avatars ใน ห้องทำงานฮอไรซอน การประชุมและขับเคลื่อนด้วยการติดตามใบหน้าจริง

อุปกรณ์จับภาพเฉพาะที่ใช้สำหรับ Codec Avatars คุณภาพสูงสุด

ไม่ว่าชุดหูฟัง Quest รุ่นใดที่มีจุดประสงค์ในการจัดส่ง Codec Avatars คุณภาพนั้นแทบจะไม่เหมือนกับการสาธิตที่น่าประทับใจที่สุดของ Meta เช่น บทสัมภาษณ์ของ Lex Fridman กับมาร์ค ซัคเคอร์เบิร์ก การสาธิตเหล่านั้นและการสัมภาษณ์ครั้งนั้นใช้ Codec Avatars ที่สร้างขึ้นโดยใช้อุปกรณ์จับภาพพิเศษพร้อมกล้องมากกว่า 100 ตัว

[เนื้อหาฝัง]

นักวิจัยเมตากำลังทำงานเพื่อแทนที่กระบวนการนี้ ด้วยการสแกนสมาร์ทโฟนจำเป็นต่อการจัดส่ง Codec Avatars ตามขนาดจริง แต่สิ่งนี้ให้ผล ผลลัพธ์คุณภาพต่ำลง. Quest Pro 2 อาจมีจอแสดงผลด้านหน้าและเซ็นเซอร์ความลึกสำหรับการตั้งค่าอวาตาร์ Apple Vision Pro ใช้สำหรับบุคลิกของตัวเองแต่สิ่งนี้ก็ยังไม่ตรงกับอุปกรณ์ดักจับแบบพิเศษ

ถึงกระนั้น Codec Avatars เวอร์ชันใดก็ตามควรได้รับการปรับปรุงอย่างมากจากอวตารปัจจุบันของ Meta ซึ่งมีรูปแบบศิลปะการ์ตูนขั้นพื้นฐานที่ไม่สามารถเพิ่มเติมจากความสมจริงของภาพถ่ายได้ เราจะจับตาดู Meta อย่างใกล้ชิดในอีกไม่กี่เดือนข้างหน้าเพื่อดูคำแนะนำเพิ่มเติมเกี่ยวกับ Codec Avatars ที่กำลังอยู่บนเส้นทางสู่การผลิต