อัลกอริธึมการสังเคราะห์มุมมองที่น่าทึ่งอาจมีผลกระทบอย่างมากต่อการจับภาพ VR

เท่าที่เกี่ยวข้องกับวิดีโอ VR แบบไลฟ์แอ็กชัน วิดีโอปริมาตรเป็นมาตรฐานทองคำสำหรับการแช่ และสำหรับการจับภาพฉากนิ่ง การวัดภาพถ่ายก็เช่นเดียวกัน แต่ทั้งสองวิธีมีข้อจำกัดที่เบี่ยงเบนไปจากความสมจริง โดยเฉพาะอย่างยิ่งเมื่อพูดถึงเอฟเฟกต์ 'ขึ้นอยู่กับมุมมอง' เช่น ไฮไลท์แบบพิเศษและเลนส์ผ่านวัตถุโปร่งแสง การวิจัยจากสถาบันวิทยสิริเมธีแห่งประเทศไทย แสดงให้เห็นอัลกอริธึมการสังเคราะห์มุมมองที่น่าทึ่ง ซึ่งเพิ่มความสมจริงอย่างมากด้วยการจัดการเอฟเฟกต์แสงดังกล่าวอย่างแม่นยำ

นักวิจัยจากสถาบันวิทยสิริเมธี จังหวัดระยอง ประเทศไทย ได้ตีพิมพ์ผลงานเมื่อต้นปีนี้เกี่ยวกับอัลกอริธึมการสังเคราะห์มุมมองแบบเรียลไทม์ที่เรียกว่า NeX เป้าหมายคือการใช้รูปภาพอินพุตจำนวนหนึ่งจากฉากหนึ่งเพื่อสังเคราะห์เฟรมใหม่ที่ถ่ายทอดฉากจากจุดต่างๆ อย่างสมจริง ระหว่าง ภาพจริง

นักวิจัย สุทธิศักดิ์ วิสาทวงศ์ษา, ภัคพล พงศ์ทวี, จิราภรณ์ เย็นพระพาย และ ศุภสร สุวจนากร เขียนว่างานสร้างบนเทคนิคที่เรียกว่า multiplane image (MPI) เมื่อเทียบกับวิธีการก่อนหน้านี้ พวกเขากล่าวว่าวิธีการของพวกเขาดีกว่าโมเดลเอฟเฟกต์ขึ้นอยู่กับการดู (เช่นไฮไลท์พิเศษ) และสร้างภาพที่สังเคราะห์ที่คมชัดยิ่งขึ้น

ด้านบนของการปรับปรุงเหล่านั้น ทีมงานได้ปรับระบบให้เหมาะสมอย่างมาก ซึ่งช่วยให้ทำงานได้อย่างง่ายดายที่ 60Hz ซึ่งเป็นการปรับปรุงที่อ้างว่ามีการปรับปรุงมากกว่ารุ่นก่อนถึง 1000 เท่า และฉันต้องบอกว่าผลลัพธ์นั้นน่าทึ่งมาก

แม้ว่าจะยังไม่ได้รับการปรับให้เหมาะสมที่สุดสำหรับกรณีการใช้งาน แต่นักวิจัยได้ทดสอบระบบโดยใช้ชุดหูฟัง VR ที่มีความลึกสเตอริโอและการเคลื่อนไหว 6DOF เต็มรูปแบบ

นักวิจัยสรุปว่า:

การนำเสนอของเรามีประสิทธิภาพในการจับภาพและสร้างเอฟเฟกต์ที่ขึ้นกับมุมมองที่ซับซ้อน และมีประสิทธิภาพในการคำนวณบนฮาร์ดแวร์กราฟิกมาตรฐาน ซึ่งช่วยให้สามารถเรนเดอร์แบบเรียลไทม์ได้ การศึกษาอย่างกว้างขวางเกี่ยวกับชุดข้อมูลสาธารณะและชุดข้อมูลที่ท้าทายยิ่งขึ้นของเราแสดงให้เห็นถึงคุณภาพที่ทันสมัยของแนวทางของเรา เราเชื่อว่าการขยายฐานประสาทสามารถนำไปใช้กับปัญหาทั่วไปของการแยกตัวประกอบของสนามแสง และเปิดใช้งานการเรนเดอร์ที่มีประสิทธิภาพสำหรับการแสดงฉากอื่นๆ ไม่จำกัดเฉพาะ MPI ข้อมูลเชิงลึกของเราว่าพารามิเตอร์การสะท้อนและพื้นผิวความถี่สูงบางตัวสามารถปรับให้เหมาะสมได้อย่างชัดเจน ยังช่วยกู้คืนรายละเอียดเล็กๆ น้อยๆ ซึ่งเป็นความท้าทายที่ต้องเผชิญโดยการแสดงแทนทางประสาทโดยปริยายที่มีอยู่

คุณสามารถหาเอกสารฉบับเต็มได้ที่ เว็บไซต์โครงการ NeXซึ่งรวมถึงเดโมที่คุณสามารถลองใช้ได้เองในเบราว์เซอร์ นอกจากนี้ยังมีการสาธิตที่ใช้ WebVR ที่ทำงานร่วมกับชุดหูฟัง PC VR หากคุณใช้ Firefox แต่น่าเสียดายที่ไม่สามารถใช้งานได้กับเบราว์เซอร์ของ Quest

สังเกตเงาสะท้อนบนไม้และไฮไลท์ที่ซับซ้อนในด้ามเหยือก! รายละเอียดขึ้นอยู่กับการดูเช่นนี้เป็นเรื่องยากมากสำหรับวิธีการจับภาพเชิงปริมาตรและโฟโตแกรมเมตริกที่มีอยู่

การจับภาพวิดีโอตามปริมาตรที่ฉันเคยเห็นใน VR มักจะสับสนมากเกี่ยวกับเอฟเฟกต์ที่ขึ้นกับมุมมองเหล่านี้ ซึ่งมักจะมีปัญหาในการกำหนดความลึกของสเตอริโอที่เหมาะสมสำหรับไฮไลท์แบบพิเศษ

Photogrammetry หรือวิธีการ 'การสแกนฉาก' โดยทั่วไปแล้ว 'ทำให้' แสงสว่างของฉากเป็นพื้นผิว ซึ่งมักจะทำให้วัตถุโปร่งแสงดูเหมือนกระดาษแข็ง (เนื่องจากแสงไฮไลท์ไม่เคลื่อนที่อย่างถูกต้องเมื่อคุณมองวัตถุในมุมต่างๆ)

การวิจัยการสังเคราะห์มุมมอง NeX สามารถปรับปรุงความสมจริงของการจับปริมาตรและการเล่นใน VR ในอนาคตได้อย่างมีนัยสำคัญ

ที่มา: https://www.roadtovr.com/nex-view-synthesis-algorithm-vr-capture-volumetric-light-field-photogrammetry/