אלגוריתם סינתזה של תצוגה מהממת עשוי להיות בעל השלכות עצומות על לכידת VR

בכל מה שנוגע לסרטון VR עם אקשן חי, וידאו נפחי הוא תקן הזהב לטבילה. ועבור לכידת סצנה סטטית, הדבר נכון גם עבור פוטוגרמטריה. אבל לשתי השיטות יש מגבלות שפוגעות בריאליזם, במיוחד כשמדובר באפקטים 'תלויי תצוגה' כמו הבהרה מרהיבה ועדשה דרך עצמים שקופים. מחקר ממכון וידיאסירימדהי למדע וטכנולוגיה של תאילנד מראה אלגוריתם סינתזת נוף מדהים שמגביר באופן משמעותי את הריאליזם על ידי טיפול באפקטי תאורה כאלה בצורה מדויקת.

חוקרים ממכון Vidyasirimedhi למדע וטכנולוגיה ב-Rayong תאילנד פרסמו עבודה מוקדם יותר השנה על אלגוריתם סינתזת צפייה בזמן אמת בשם NeX. המטרה היא להשתמש רק בקומץ של תמונות קלט מסצנה כדי לסנתז פריימים חדשים שמתארים בצורה מציאותית את הסצנה מנקודות שרירותיות בֵּין התמונות האמיתיות.

החוקרים Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai וSupasorn Suwajanakorn כותבים שהעבודה מתבססת על טכניקה שנקראת תמונה מרובה (MPI). בהשוואה לשיטות קודמות, הם אומרים שהגישה שלהם מדגמנת טוב יותר אפקטים תלויי צפייה (כמו הדגשות ספורות) ויוצרת תמונות מסונתזות חדות יותר.

בנוסף לשיפורים הללו, הצוות ביצע אופטימיזציה רבה למערכת, ואיפשר לה לפעול בקלות בתדר 60 הרץ - שיפור של פי 1000 לעומת המצב הקודם. ואני חייב לומר שהתוצאות מדהימות.

למרות שעדיין לא עבר אופטימיזציה גבוהה עבור מקרה השימוש, החוקרים כבר בדקו את המערכת באמצעות אוזניות VR עם עומק סטריאו ותנועת 6DOF מלאה.

החוקרים מסכמים:

הייצוג שלנו יעיל בלכידת ושחזור אפקטים מורכבים תלויי צפייה ויעיל לחישוב על חומרה גרפית סטנדרטית, ובכך מאפשר עיבוד בזמן אמת. מחקרים נרחבים על מערכי נתונים ציבוריים ומערך הנתונים המאתגרים יותר שלנו מוכיחים את האיכות המתקדמת של הגישה שלנו. אנו מאמינים שניתן ליישם הרחבת בסיס עצבי על הבעיה הכללית של פירוק שדה אור ולאפשר עיבוד יעיל עבור ייצוגי סצנה אחרים שאינם מוגבלים ל-MPI. התובנה שלנו שניתן לבצע אופטימיזציה מפורשת של כמה פרמטרים של השתקפות ומרקם בתדר גבוה יכולה גם לעזור לשחזר פרטים עדינים, אתגר שעומד בפני ייצוגים עצביים מרומזים קיימים.

אתה יכול למצוא את העיתון המלא ב- אתר פרויקט NeX, הכולל הדגמות שתוכלו לנסות בעצמכם ישירות בדפדפן. יש גם הדגמות מבוססות WebVR שעובדות עם אוזניות VR למחשב אם אתה משתמש בפיירפוקס, אך למרבה הצער לא עובדות עם הדפדפן של Quest.

שימו לב להשתקפויות בעץ ולהדגשות המורכבות בידית הכד! פרטים תלויי צפייה כמו אלה קשים מאוד עבור שיטות לכידה נפחיות ופוטוגרמטריות קיימות.

לכידת וידאו וולומטרית שראיתי ב-VR בדרך כלל מתבלבלת מאוד בקשר לאפקטים תלויי צפייה מהסוג הזה, ולעתים קרובות מתקשה לקבוע את עומק הסטריאו המתאים להדגשות מרהיבות.

גישות פוטוגרמטריה, או גישות 'סריקת סצנה', 'אפות' בדרך כלל את התאורה של הסצינה למרקמים, מה שלעתים קרובות גורם לאובייקטים שקופים להיראות כמו קרטון (מכיוון שהדגשי התאורה אינם זזים כראוי כאשר אתה צופה באובייקט בזוויות שונות).

מחקר סינתזת תצוגת NeX יכול לשפר משמעותית את הריאליזם של לכידה והשמעה נפחית ב-VR בהמשך הדרך.