Приголомшливий алгоритм синтезу вигляду може мати величезні наслідки для зйомки VR

Що стосується живого VR-відео, об’ємне відео є золотим стандартом занурення. І для захоплення статичної сцени те саме стосується фотограмметрії. Але обидва методи мають обмеження, які зменшують реалістичність, особливо коли мова йде про ефекти, що залежать від виду, як-от дзеркальні відблиски та лінзи через напівпрозорі об’єкти. Дослідження таїландського Науково-технологічного інституту Vidyasirimedhi показує приголомшливий алгоритм синтезу зображення, який значно підвищує реалістичність, точно обробляючи такі світлові ефекти.

Дослідники з Науково-технологічного інституту Vidyasirimedhi в районі Таїланд на початку цього року опублікували роботу про алгоритм синтезу перегляду в реальному часі під назвою NeX. Його мета полягає в тому, щоб використати лише кілька вхідних зображень зі сцени для синтезу нових кадрів, які реалістично відображають сцену з довільних точок між справжні образи.

Дослідники Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai та Supasorn Suwajanakorn пишуть, що робота базується на техніці під назвою багатоплоскостне зображення (MPI). Порівняно з попередніми методами, вони кажуть, що їхній підхід краще моделює ефекти, що залежать від виду (наприклад, дзеркальні відблиски) і створює чіткіші синтезовані зображення.

Окрім цих удосконалень, команда високо оптимізувала систему, дозволяючи їй легко працювати на частоті 60 Гц — заявлене 1000-кратне покращення в порівнянні з попереднім рівнем техніки. І треба сказати, результати приголомшливі.

Хоча система ще не оптимізована для конкретного випадку, дослідники вже протестували систему за допомогою VR-гарнітури зі стереоглибиною та повним рухом 6DOF.

Дослідники роблять висновок:

Наше представлення є ефективним у захопленні та відтворенні складних ефектів, що залежать від перегляду, і ефективним для обчислень на стандартному графічному обладнанні, таким чином дозволяючи рендеринг у реальному часі. Широкі дослідження загальнодоступних наборів даних і нашого складнішого набору даних демонструють найвищу якість нашого підходу. Ми вважаємо, що розширення нейронної основи можна застосувати до загальної проблеми факторизації світлового поля та забезпечити ефективний рендеринг для інших представлень сцени, не обмежуючись MPI. Наше розуміння того, що деякі параметри відбиття та високочастотну текстуру можна оптимізувати явно, також може допомогти відновити дрібні деталі, що є проблемою, з якою стикаються існуючі неявні нейронні представлення.

Ви можете знайти повний текст статті на Сайт проекту NeX, який містить демонстраційні версії, які ви можете спробувати самі прямо у веб-переглядачі. Є також демонстраційні версії на основі WebVR, які працюють із гарнітурами VR для ПК, якщо ви користуєтеся Firefox, але, на жаль, не працюють із браузером Quest.

Зверніть увагу на відблиски в дереві та складні відблиски на ручці глечика! Подібні деталі, що залежать від виду, дуже складні для існуючих об’ємних і фотограмметричних методів захоплення.

Зйомка об’ємного відео, яку я бачив у VR, зазвичай дуже заплутана щодо таких залежних від перегляду ефектів, часто виникають проблеми з визначенням відповідної стереоглибини для дзеркальних відблисків.

Підходи фотограмметрії або «сканування сцени» зазвичай «запікають» освітлення сцени в текстури, що часто робить напівпрозорі об’єкти схожими на картон (оскільки світлі світла не рухаються належним чином, коли ви дивитесь на об’єкт під різними кутами).

Дослідження синтезу перегляду NeX може значно покращити реалістичність об’ємного захоплення та відтворення у VR.