الگوریتم سنتز نمای خیره کننده می تواند پیامدهای زیادی برای ضبط VR داشته باشد

تا آنجا که به ویدیوی زنده VR مربوط می شود، ویدیوی حجمی استاندارد طلایی برای غوطه وری است. و برای ضبط صحنه ایستا، همین امر در مورد فتوگرامتری صدق می کند. اما هر دو روش محدودیت‌هایی دارند که از واقع‌گرایی می‌کاهد، به‌ویژه وقتی صحبت از جلوه‌های «وابسته به دید» مانند برجسته‌سازی‌های خاص و عدسی از میان اشیاء شفاف باشد. تحقیقات موسسه علم و فناوری Vidyasirimedhi تایلند الگوریتم سنتز نمای خیره‌کننده‌ای را نشان می‌دهد که با مدیریت دقیق چنین جلوه‌های نوری، واقع‌گرایی را به‌طور قابل‌توجهی افزایش می‌دهد.

محققان موسسه علم و فناوری Vidyasirimedhi در Rayong تایلند اوایل سال جاری کار خود را بر روی الگوریتم سنتز نمای بلادرنگ به نام NeX منتشر کردند. هدف آن استفاده از تعداد انگشت شماری از تصاویر ورودی از یک صحنه برای ترکیب فریم های جدید است که به طور واقعی صحنه را از نقاط دلخواه به تصویر می کشد. میان تصاویر واقعی

محققین Suttisak Wizadwongsa، Pakkapon Phongthawee، Jiraphon Yenphraphai و Supasorn Suwajanakorn می نویسند که این کار بر روی تکنیکی بنام تصویر چند صفحه ای (MPI) ساخته شده است. در مقایسه با روش‌های قبلی، آن‌ها می‌گویند که رویکرد آن‌ها، جلوه‌های وابسته به دید را بهتر مدل‌سازی می‌کند (مانند برجسته‌سازی‌های خاص) و تصاویر ترکیبی واضح‌تری ایجاد می‌کند.

علاوه بر این پیشرفت‌ها، تیم سیستم را بسیار بهینه‌سازی کرده است و به آن اجازه می‌دهد تا به راحتی با فرکانس 60 هرتز کار کند - یک بهبود ادعایی 1000 برابری نسبت به وضعیت قبلی هنر. و باید بگویم که نتایج خیره کننده است.

اگرچه هنوز برای موارد استفاده چندان بهینه نشده است، اما محققان قبلاً سیستم را با استفاده از یک هدست واقعیت مجازی با عمق استریو و حرکت کامل 6DOF آزمایش کرده‌اند.

محققان نتیجه می گیرند:

نمایش ما در ضبط و بازتولید جلوه‌های پیچیده وابسته به نما مؤثر است و برای محاسبه بر روی سخت‌افزار گرافیکی استاندارد کارآمد است، بنابراین امکان رندر در زمان واقعی را فراهم می‌کند. مطالعات گسترده بر روی مجموعه داده های عمومی و مجموعه داده های چالش برانگیز ما، کیفیت پیشرفته رویکرد ما را نشان می دهد. ما معتقدیم که بسط پایه عصبی را می توان برای مشکل کلی فاکتورسازی میدان نور اعمال کرد و رندر کارآمد را برای سایر نمایش های صحنه که به MPI محدود نمی شود، امکان پذیر می کند. بینش ما مبنی بر اینکه برخی از پارامترهای بازتاب و بافت فرکانس بالا را می توان به طور صریح بهینه کرد، همچنین می تواند به بازیابی جزئیات دقیق کمک کند، چالشی که بازنمایی های عصبی ضمنی موجود با آن مواجه است.

مقاله کامل را می توانید در وب سایت پروژه NeX، که شامل دموهایی است که می توانید خودتان در مرورگر امتحان کنید. همچنین نسخه‌های نمایشی مبتنی بر WebVR وجود دارد که اگر از فایرفاکس استفاده می‌کنید با هدست‌های PC VR کار می‌کنند، اما متأسفانه با مرورگر Quest کار نمی‌کنند.

به انعکاس های چوب و نقاط برجسته پیچیده در دسته پارچ توجه کنید! جزئیات وابسته به نما مانند اینها برای روش های ثبت حجمی و فتوگرامتری موجود بسیار دشوار است.

ضبط ویدیوی حجمی که من در VR دیده‌ام معمولاً در مورد این نوع جلوه‌های وابسته به دید بسیار گیج می‌شود، و اغلب در تعیین عمق استریو مناسب برای برجسته‌سازی‌های خاص مشکل دارند.

فتوگرامتری یا رویکردهای «اسکن صحنه» معمولاً نور صحنه را به بافت تبدیل می‌کند، که اغلب باعث می‌شود اشیاء شفاف شبیه مقوا به نظر برسند (زیرا نورهای برجسته هنگام مشاهده شی در زوایای مختلف به درستی حرکت نمی‌کنند).

تحقیقات ترکیبی NeX view می تواند به طور قابل توجهی واقع گرایی ضبط حجمی و پخش در VR را در آینده بهبود بخشد.