Algoritmul uimitor de sinteză a vizualizării ar putea avea implicații uriașe pentru capturarea VR

În ceea ce privește videoclipurile live-action VR, videoclipurile volumetrice sunt standardul de aur pentru imersiune. Și pentru capturarea scenei statice, același lucru este valabil și pentru fotogrammetrie. Dar ambele metode au limitări care diminuează realismul, mai ales când vine vorba de efecte „dependente de vedere”, cum ar fi evidențierea speculară și lentilele prin obiecte translucide. Cercetările de la Institutul de Știință și Tehnologie Vidyasirimedhi din Thailanda arată un algoritm de sinteză a vizualizării uimitoare care crește semnificativ realismul prin gestionarea cu precizie a unor astfel de efecte de lumină.

Cercetătorii de la Institutul de Știință și Tehnologie Vidyasirimedhi din Rayong Thailanda au publicat lucrări la începutul acestui an pe un algoritm de sinteză a vizualizării în timp real numit NeX. Scopul său este de a folosi doar câteva imagini de intrare dintr-o scenă pentru a sintetiza cadre noi care înfățișează în mod realist scena din puncte arbitrare. între imaginile reale.

Cercetătorii Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai și Supasorn Suwajanakorn scriu că lucrarea se bazează pe o tehnică numită imagine multiplan (MPI). În comparație cu metodele anterioare, ei spun că abordarea lor modelează mai bine efectele dependente de vizualizare (cum ar fi evidențierea speculară) și creează imagini sintetizate mai clare.

Pe lângă aceste îmbunătățiri, echipa a optimizat foarte mult sistemul, permițându-i să ruleze cu ușurință la 60 Hz - o îmbunătățire pretinsă de 1000 de ori față de stadiul anterior al tehnicii. Și trebuie să spun că rezultatele sunt uimitoare.

Deși nu este încă foarte optimizat pentru cazul de utilizare, cercetătorii au testat deja sistemul folosind o cască VR cu adâncime stereo și mișcare completă de 6DOF.

Cercetătorii concluzionează:

Reprezentarea noastră este eficientă în capturarea și reproducerea efectelor complexe dependente de vizualizare și eficientă pentru a calcula pe hardware-ul grafic standard, permițând astfel randarea în timp real. Studiile ample despre seturile de date publice și setul nostru de date mai provocator demonstrează calitatea de ultimă oră a abordării noastre. Credem că expansiunea bazei neuronale poate fi aplicată la problema generală a factorizării câmpului luminos și poate permite randarea eficientă pentru alte reprezentări ale scenei care nu se limitează la MPI. Perspectiva noastră că unii parametri de reflectanță și textura de înaltă frecvență pot fi optimizați în mod explicit poate ajuta, de asemenea, la recuperarea detaliilor fine, o provocare cu care se confruntă reprezentările neuronale implicite existente.

Puteți găsi lucrarea completă la adresa Site-ul web al proiectului NeX, care include demonstrații pe care le puteți încerca chiar în browser. Există, de asemenea, demonstrații bazate pe WebVR care funcționează cu căști VR pentru PC dacă utilizați Firefox, dar, din păcate, nu funcționează cu browserul Quest.

Observați reflexele din lemn și accentele complexe din mânerul ulciorului! Detaliile dependente de vizualizare ca acestea sunt foarte dificile pentru metodele de captare volumetrice și fotogrammetrice existente.

Captura video volumetrică pe care am văzut-o în VR devine de obicei foarte confuză cu privire la acest tip de efecte dependente de vizualizare, având adesea probleme în determinarea adâncimii stereo adecvate pentru evidențierea speculară.

Fotogrammetria, sau abordările de „scanare a scenei”, „coc” de obicei iluminarea scenei în texturi, ceea ce face adesea ca obiectele translucide să arate ca carton (deoarece luminile evidențiate nu se mișcă corect când priviți obiectul în unghiuri diferite).

Cercetarea de sinteză a vizualizării NeX ar putea îmbunătăți semnificativ realismul captării volumetrice și redării în VR în viitor.