Upean näkymän synteesialgoritmilla voi olla valtavia vaikutuksia VR -sieppaukseen

Mitä tulee live-action VR -videoon, volumetrinen video on upottamisen kultainen standardi. Ja staattisen kohtauksen sieppauksessa sama pätee fotogrammetriaan. Mutta molemmilla menetelmillä on rajoituksia, jotka heikentävät realismia, varsinkin kun on kyse "näkymästä riippuvaisista" vaikutuksista, kuten peilikuvista ja läpikuultavien esineiden läpi tapahtuvasta linssistä. Thaimaan Vidyasirimedhin tiede- ja teknologiainstituutin tutkimus osoittaa upean näkymän synteesialgoritmin, joka lisää merkittävästi realismia käsittelemällä tällaisia ​​valotehosteita tarkasti.

Tutkijat Vidyasirimedhin tiede- ja teknologiainstituutista Rayongissa Thaimaassa julkaisivat aiemmin tänä vuonna työn reaaliaikaisesta näkymän synteesialgoritmista nimeltä NeX. Sen tavoitteena on käyttää vain kourallinen syöttökuvia kohtauksesta syntetisoida uusia kehyksiä, jotka realistisesti kuvaavat kohtausta mielivaltaisista pisteistä välillä todellisia kuvia.

Tutkijat Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai ja Supasorn Suwajanakorn kirjoittavat, että työ perustuu tekniikkaan, jota kutsutaan monitasoiseksi kuvaksi (MPI). Verrattuna aiempiin menetelmiin he sanovat lähestymistapansa paremmiksi mallintavan näkymäriippuvaisia ​​efektejä (kuten heijastavia kohokohtia) ja luovat terävämpiä syntetisoituja kuvia.

Näiden parannusten lisäksi tiimi on optimoinut järjestelmän erittäin hyvin, jolloin se voi toimia helposti 60 Hz: llä - väitetty 1000 -kertainen parannus edellisen tekniikan tasoon verrattuna. Ja minun on sanottava, että tulokset ovat hämmästyttäviä.

Tutkijat ovat jo testanneet järjestelmää käyttämällä VR-kuulokkeita, joissa on stereosyvyys ja täysi 6DOF-liike.

Tutkijat päättelevät:

Esityksemme on tehokas kaappaamaan ja toistamaan monimutkaisia ​​näkymäriippuvaisia ​​tehosteita ja tehokas laskemaan tavallisella grafiikkalaitteistolla, mikä mahdollistaa reaaliaikaisen renderöinnin. Laajat tutkimukset julkisista tietojoukoista ja haastavampi tietokokonaisuutemme osoittavat lähestymistapamme uusimman laadun. Uskomme, että hermopohjalaajennusta voidaan soveltaa valokenttätekijöiden yleiseen ongelmaan ja mahdollistaa tehokkaan hahmontamisen muille kohtausesityksille, jotka eivät rajoitu MPI: hen. Oivalluksemme siitä, että jotkin heijastusparametrit ja korkeataajuinen rakenne voidaan optimoida nimenomaisesti, voi myös auttaa palauttamaan hienoja yksityiskohtia, mikä on haaste nykyisille implisiittisille hermotiedoille.

Koko paperin löydät osoitteesta NeX -projektin verkkosivusto, joka sisältää demoja, joita voit kokeilla itse selaimessa. On myös WebVR-pohjaisia ​​demoja, jotka toimivat PC VR -kuulokkeiden kanssa, jos käytät Firefoxia, mutta valitettavasti eivät toimi Questin selaimen kanssa.

Huomaa heijastukset puussa ja monimutkaiset kohokohdat kannun kahvassa! Näkymästä riippuvat yksityiskohdat ovat hyvin vaikeita olemassa oleville tilavuus- ja fotogrammetrisille kuvausmenetelmille.

Volumetrinen videokuvaus, jonka olen nähnyt VR: ssä, yleensä hämmentyy tällaisista näkymäriippuvaisista tehosteista, ja usein on vaikea määrittää sopivaa stereosyvyyttä spekulaarisille kohokohdille.

Fotogrammetria tai kohtausskannaus -lähestymistavat tyypillisesti "leivottavat" kohtauksen valaistuksen tekstuuriksi, mikä usein tekee läpikuultavista esineistä pahvin näköisiä (koska valaistuksen kohokohdat eivät liiku oikein, kun katsot kohdetta eri kulmista).

NeX -näkymän synteesitutkimus voisi parantaa merkittävästi tilavuuden kaappaamisen ja toiston realismia VR: ssä tulevaisuudessa.