Ο αλγόριθμος σύνθεσης εκπληκτικής προβολής θα μπορούσε να έχει τεράστιες επιπτώσεις στη λήψη VR

Όσον αφορά το ζωντανό βίντεο VR, το ογκομετρικό βίντεο είναι το χρυσό πρότυπο για εμβάπτιση. Και για τη στατική λήψη σκηνής, το ίδιο ισχύει και για τη φωτογραμμετρία. Αλλά και οι δύο μέθοδοι έχουν περιορισμούς που μειώνουν τον ρεαλισμό, ειδικά όταν πρόκειται για εφέ που εξαρτώνται από την προβολή, όπως τα κατοπτρικά σημεία και ο φακός μέσω ημιδιαφανών αντικειμένων. Έρευνα από το Ινστιτούτο Επιστήμης και Τεχνολογίας Vidyasirimedhi της Ταϊλάνδης δείχνει έναν εκπληκτικό αλγόριθμο σύνθεσης όψης που ενισχύει σημαντικά τον ρεαλισμό χειρίζοντας με ακρίβεια τέτοια εφέ φωτισμού.

Ερευνητές από το Ινστιτούτο Επιστήμης και Τεχνολογίας Vidyasirimedhi στη Rayong Ταϊλάνδη δημοσίευσαν εργασία νωρίτερα φέτος σε έναν αλγόριθμο σύνθεσης προβολής σε πραγματικό χρόνο που ονομάζεται NeX. Ο στόχος είναι να χρησιμοποιήσει μόνο μια χούφτα εισαγόμενων εικόνων από μια σκηνή για να συνθέσει νέα καρέ που απεικονίζουν ρεαλιστικά τη σκηνή από αυθαίρετα σημεία μεταξύ τις πραγματικές εικόνες.

Οι ερευνητές Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai και Supasorn Suwajanakorn γράφουν ότι η εργασία βασίζεται σε μια τεχνική που ονομάζεται multiplane image (MPI). Σε σύγκριση με προηγούμενες μεθόδους, λένε ότι η προσέγγισή τους μοντελοποιεί καλύτερα εφέ που εξαρτώνται από την προβολή (όπως τα κατοπτρικά στιγμιότυπα) και δημιουργεί πιο ευκρινείς συνθετικές εικόνες.

Εκτός από αυτές τις βελτιώσεις, η ομάδα έχει βελτιστοποιήσει σε μεγάλο βαθμό το σύστημα, επιτρέποντάς του να λειτουργεί εύκολα στα 60 Hz - μια ισχυριζόμενη βελτίωση 1000x σε σχέση με την προηγούμενη κατάσταση της τέχνης. Και πρέπει να πω ότι τα αποτελέσματα είναι εκπληκτικά.

Αν και δεν έχει ακόμη βελτιστοποιηθεί ιδιαίτερα για την περίπτωση χρήσης, οι ερευνητές έχουν ήδη δοκιμάσει το σύστημα χρησιμοποιώντας ακουστικά VR με στερεοφωνικό βάθος και πλήρη κίνηση 6DOF.

Οι ερευνητές καταλήγουν στο συμπέρασμα:

Η αναπαράστασή μας είναι αποτελεσματική στην καταγραφή και αναπαραγωγή πολύπλοκων εφέ που εξαρτώνται από την προβολή και αποτελεσματική στον υπολογισμό σε τυπικό υλικό γραφικών, επιτρέποντας έτσι την απόδοση σε πραγματικό χρόνο. Εκτενείς μελέτες σχετικά με δημόσια σύνολα δεδομένων και τα πιο απαιτητικά δεδομένα μας καταδεικνύουν την κορυφαία ποιότητα της προσέγγισής μας. Πιστεύουμε ότι η επέκταση της νευρικής βάσης μπορεί να εφαρμοστεί στο γενικό πρόβλημα της παραγοντοποίησης του πεδίου φωτός και να επιτρέψει την αποτελεσματική απόδοση για άλλες αναπαραστάσεις σκηνής που δεν περιορίζονται στο MPI. Η επίγνωσή μας ότι ορισμένες παράμετροι ανάκλασης και η υφή υψηλής συχνότητας μπορούν να βελτιστοποιηθούν ρητά μπορεί επίσης να βοηθήσει στην ανάκτηση λεπτομέρειας, μια πρόκληση που αντιμετωπίζουν οι υπάρχουσες σιωπηρές νευρικές αναπαραστάσεις.

Μπορείτε να βρείτε το πλήρες χαρτί στο Ιστοσελίδα του έργου NeX, το οποίο περιλαμβάνει επιδείξεις που μπορείτε να δοκιμάσετε μόνοι σας απευθείας στο πρόγραμμα περιήγησης. Υπάρχουν επίσης επιδείξεις που βασίζονται στο WebVR που λειτουργούν με ακουστικά εικονικής πραγματικότητας για υπολογιστή, εάν χρησιμοποιείτε Firefox, αλλά δυστυχώς δεν λειτουργούν με το πρόγραμμα περιήγησης της Quest.

Παρατηρήστε τις αντανακλάσεις στο ξύλο και τις σύνθετες ανταύγειες στη λαβή της στάμνας! Λεπτομέρειες που εξαρτώνται από την προβολή είναι πολύ δύσκολες για τις υπάρχουσες ογκομετρικές και φωτογραμμετρικές μεθόδους λήψης.

Η ογκομετρική λήψη βίντεο που έχω δει στην εικονική πραγματικότητα συνήθως προκαλεί σύγχυση σχετικά με αυτά τα εφέ που εξαρτώνται από την προβολή, συχνά αντιμετωπίζοντας πρόβλημα στον προσδιορισμό του κατάλληλου στερεοφωνικού βάθους για κατοπτρικά στιγμιότυπα.

Η φωτογραμμετρία ή οι προσεγγίσεις «σάρωσης σκηνής», συνήθως «ψήνουν» τον φωτισμό της σκηνής σε υφές, κάτι που συχνά κάνει τα ημιδιαφανή αντικείμενα να μοιάζουν με χαρτόνι (καθώς τα τονισμένα σημεία φωτισμού δεν κινούνται σωστά καθώς βλέπετε το αντικείμενο σε διαφορετικές γωνίες).

Η έρευνα σύνθεσης προβολής NeX θα μπορούσε να βελτιώσει σημαντικά τον ρεαλισμό της ογκομετρικής σύλληψης και αναπαραγωγής στο VR στο μέλλον.