Lo straordinario algoritmo di sintesi della vista potrebbe avere enormi implicazioni per l'acquisizione VR

Per quanto riguarda i video VR live-action, il video volumetrico è lo standard di riferimento per l’immersione. E per l’acquisizione di scene statiche, lo stesso vale per la fotogrammetria. Ma entrambi i metodi presentano limitazioni che riducono il realismo, soprattutto quando si tratta di effetti “dipendenti dalla vista” come le luci speculari e la lente attraverso oggetti traslucidi. Una ricerca del Vidyasirimedhi Institute of Science and Technology della Thailandia mostra uno straordinario algoritmo di sintesi visiva che aumenta significativamente il realismo gestendo accuratamente tali effetti di luce.

I ricercatori del Vidyasirimedhi Institute of Science and Technology di Rayong, in Thailandia, hanno pubblicato all'inizio di quest'anno un lavoro su un algoritmo di sintesi della vista in tempo reale chiamato NeX. L'obiettivo è utilizzare solo una manciata di immagini di input da una scena per sintetizzare nuovi fotogrammi che ritraggono realisticamente la scena da punti arbitrari fra le immagini reali.

I ricercatori Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai e Supasorn Suwajanakorn scrivono che il lavoro si basa su una tecnica chiamata immagine multiplane (MPI). Rispetto ai metodi precedenti, affermano che il loro approccio modella meglio gli effetti dipendenti dalla vista (come le luci speculari) e crea immagini sintetizzate più nitide.

Oltre a questi miglioramenti, il team ha ottimizzato notevolmente il sistema, consentendogli di funzionare facilmente a 60 Hz, un miglioramento dichiarato di 1000 volte rispetto allo stato dell'arte precedente. E devo dire che i risultati sono sorprendenti.

Sebbene non sia ancora altamente ottimizzato per il caso d’uso, i ricercatori hanno già testato il sistema utilizzando un visore VR con profondità stereo e movimento 6DOF completo.

I ricercatori concludono:

La nostra rappresentazione è efficace nell'acquisizione e nella riproduzione di effetti complessi dipendenti dalla vista ed efficiente nel calcolo su hardware grafico standard, consentendo così il rendering in tempo reale. Studi approfonditi sui set di dati pubblici e sul nostro set di dati più impegnativo dimostrano la qualità all’avanguardia del nostro approccio. Riteniamo che l'espansione delle basi neurali possa essere applicata al problema generale della fattorizzazione del campo luminoso e consentire un rendering efficiente per altre rappresentazioni di scene non limitate a MPI. La nostra intuizione che alcuni parametri di riflettanza e texture ad alta frequenza possono essere ottimizzati esplicitamente può anche aiutare a recuperare i dettagli più fini, una sfida affrontata dalle rappresentazioni neurali implicite esistenti.

Potete trovare il documento completo su Sito web del progetto NeX, che include demo che puoi provare tu stesso direttamente nel browser. Sono disponibili anche demo basate su WebVR che funzionano con i visori VR per PC se utilizzi Firefox, ma sfortunatamente non funzionano con il browser Quest.

Notate i riflessi nel legno e le complesse luci nel manico della brocca! Dettagli dipendenti dalla vista come questi sono molto difficili per i metodi di acquisizione volumetrica e fotogrammetrica esistenti.

L'acquisizione video volumetrica che ho visto in VR di solito crea molta confusione riguardo a questo tipo di effetti dipendenti dalla vista, spesso avendo difficoltà a determinare la profondità stereo appropriata per le luci speculari.

La fotogrammetria, o approcci di "scansione della scena", in genere "cuoce" l'illuminazione della scena in trame, che spesso fanno sembrare gli oggetti traslucidi come cartone (poiché le luci non si muovono correttamente quando si osserva l'oggetto da diverse angolazioni).

La ricerca sulla sintesi della vista NeX potrebbe migliorare significativamente il realismo dell’acquisizione volumetrica e della riproduzione in VR in futuro.