Алгоритм синтеза потрясающего обзора может иметь огромное значение для захвата виртуальной реальности

Что касается VR-видео в реальном времени, объемное видео является золотым стандартом для погружения. То же самое можно сказать и о фотограмметрии для захвата статической сцены. Но у обоих методов есть ограничения, которые снижают реализм, особенно когда речь идет о «зависящих от вида» эффектах, таких как зеркальные блики и линзирование через полупрозрачные объекты. Исследование тайского института науки и технологий Видьясиримеди показывает потрясающий алгоритм синтеза изображений, который значительно повышает реализм за счет точной обработки таких световых эффектов.

Ранее в этом году исследователи из Института науки и технологий Видьясиримеди в Районге, Таиланд, опубликовали работу над алгоритмом синтеза изображений в реальном времени под названием NeX. Его цель - использовать всего несколько входных изображений сцены для синтеза новых кадров, которые реалистично отображают сцену с произвольных точек. между реальные изображения.

Исследователи Суттисак Визадвонгса, Паккапон Фонтхави, Джирафон Йенфрафай и Супасорн Суваджанакорн пишут, что работа основана на технике, называемой многоплановым изображением (MPI). По сравнению с предыдущими методами, они говорят, что их подход лучше моделирует зависящие от вида эффекты (например, зеркальные блики) и создает более четкие синтезированные изображения.

Помимо этих улучшений, команда сильно оптимизировала систему, позволив ей легко работать на частоте 60 Гц - заявленное 1000-кратное улучшение по сравнению с предыдущим уровнем техники. И я должен сказать, результаты потрясающие.

Хотя она еще не оптимизирована для конкретного случая использования, исследователи уже протестировали систему с использованием гарнитуры VR с глубиной стереозвука и полным движением 6DOF.

Исследователи приходят к выводу:

Наше представление эффективно для захвата и воспроизведения сложных зависящих от вида эффектов и эффективно для вычислений на стандартном графическом оборудовании, что позволяет осуществлять рендеринг в реальном времени. Обширные исследования общедоступных наборов данных и наш более сложный набор данных демонстрируют современное качество нашего подхода. Мы считаем, что расширение нейронной базы можно применить к общей проблеме факторизации светового поля и обеспечить эффективный рендеринг для других представлений сцены, не ограничиваясь MPI. Наше понимание того, что некоторые параметры отражения и высокочастотная текстура могут быть оптимизированы явно, также может помочь восстановить мелкие детали, что является проблемой, с которой сталкиваются существующие неявные нейронные представления.

Вы можете найти полный текст на Сайт проекта NeX, который включает демонстрации, которые вы можете попробовать прямо в браузере. Есть также демонстрации на основе WebVR, которые работают с гарнитурами PC VR, если вы используете Firefox, но, к сожалению, не работают с браузером Quest.

Обратите внимание на отражения в дереве и сложные блики на ручке кувшина! Такие зависящие от вида детали очень сложно использовать для существующих методов объемного и фотограмметрического захвата.

Захват объемного видео, который я видел в VR, обычно очень сбивает с толку из-за такого рода зависящих от вида эффектов, часто возникают проблемы с определением подходящей глубины стерео для зеркальных бликов.

Фотограмметрия или подходы к «сканированию сцены» обычно «запекают» освещение сцены в текстуры, что часто делает полупрозрачные объекты похожими на картон (поскольку световые блики не перемещаются правильно, когда вы смотрите на объект под разными углами).

Исследование синтеза представлений NeX может значительно улучшить реализм объемного захвата и воспроизведения в VR в будущем.

Источник: https://www.roadtovr.com/nex-view-synthesis-algorithm-vr-capture-volumetric-light-field-photogrammetry/