आश्चर्यजनक दृश्य संश्लेषण एल्गोरिथम वीआर कैप्चर के लिए बहुत बड़ा प्रभाव डाल सकता है

जहां तक ​​लाइव-एक्शन वीआर वीडियो का संबंध है, वॉल्यूमेट्रिक वीडियो विसर्जन के लिए स्वर्ण मानक है। और स्थिर दृश्य कैप्चर के लिए, फोटोग्रामेट्री के लिए भी यही सच है। लेकिन दोनों विधियों की सीमाएं हैं जो यथार्थवाद से अलग हो जाती हैं, खासकर जब यह 'दृश्य-निर्भर' प्रभावों की बात आती है जैसे कि स्पेक्युलर हाइलाइट्स और पारभासी वस्तुओं के माध्यम से लेंसिंग। थाईलैंड के विद्यासिरिमेधी इंस्टीट्यूट ऑफ साइंस एंड टेक्नोलॉजी के शोध से एक आश्चर्यजनक दृश्य संश्लेषण एल्गोरिथ्म दिखाई देता है जो इस तरह के प्रकाश प्रभावों को सटीक रूप से संभालकर यथार्थवाद को बढ़ाता है।

रेयॉन्ग थाईलैंड में विद्यासिरिमेधी इंस्टीट्यूट ऑफ साइंस एंड टेक्नोलॉजी के शोधकर्ताओं ने इस साल की शुरुआत में नेक्स नामक रीयल-टाइम व्यू सिंथेसिस एल्गोरिथम पर काम प्रकाशित किया। इसका लक्ष्य नए फ्रेम को संश्लेषित करने के लिए एक दृश्य से केवल कुछ इनपुट छवियों का उपयोग करना है जो वास्तविक रूप से मनमाने बिंदुओं से दृश्य को चित्रित करते हैं के बीच वास्तविक छवियां।

शोधकर्ता सुतिसाक विजादवोंगसा, पक्कापोन फोंगथावी, जिराफोन येनफ्राफाई और सुपासोर्न सुवाजानाकोर्न लिखते हैं कि काम मल्टीप्लेन इमेज (एमपीआई) नामक तकनीक के शीर्ष पर बनता है। पूर्व विधियों की तुलना में, वे कहते हैं कि उनका दृष्टिकोण बेहतर मॉडल दृश्य-निर्भर प्रभाव (जैसे स्पेक्युलर हाइलाइट्स) है और तेज संश्लेषित इमेजरी बनाता है।

उन सुधारों के शीर्ष पर, टीम ने सिस्टम को अत्यधिक अनुकूलित किया है, जिससे इसे 60 हर्ट्ज पर आसानी से चलाने की इजाजत मिलती है-कला की पिछली स्थिति में दावा किया गया 1000x सुधार। और मुझे कहना होगा, परिणाम आश्चर्यजनक हैं।

हालांकि उपयोग के मामले के लिए अभी तक अत्यधिक अनुकूलित नहीं किया गया है, शोधकर्ताओं ने पहले से ही स्टीरियो-डेप्थ और पूर्ण 6DOF आंदोलन के साथ VR हेडसेट का उपयोग करके सिस्टम का परीक्षण किया है।

शोधकर्ताओं का निष्कर्ष है:

हमारा प्रतिनिधित्व जटिल दृश्य-निर्भर प्रभावों को पकड़ने और पुन: उत्पन्न करने में प्रभावी है और मानक ग्राफिक्स हार्डवेयर पर गणना करने के लिए कुशल है, इस प्रकार रीयल-टाइम प्रतिपादन की अनुमति देता है। सार्वजनिक डेटासेट पर व्यापक अध्ययन और हमारे अधिक चुनौतीपूर्ण डेटासेट हमारे दृष्टिकोण की अत्याधुनिक गुणवत्ता प्रदर्शित करते हैं। हमारा मानना ​​​​है कि तंत्रिका आधार विस्तार को प्रकाश-क्षेत्र कारककरण की सामान्य समस्या पर लागू किया जा सकता है और अन्य दृश्य प्रस्तुतियों के लिए कुशल प्रतिपादन सक्षम करता है जो एमपीआई तक सीमित नहीं है। हमारी अंतर्दृष्टि कि कुछ परावर्तन मापदंडों और उच्च-आवृत्ति बनावट को स्पष्ट रूप से अनुकूलित किया जा सकता है, बारीक विवरण को पुनर्प्राप्त करने में भी मदद कर सकता है, मौजूदा अंतर्निहित तंत्रिका अभ्यावेदन के सामने एक चुनौती।

आप पूरा पेपर यहां पा सकते हैं नेक्स प्रोजेक्ट वेबसाइट, जिसमें डेमो शामिल हैं जिन्हें आप सीधे ब्राउज़र में स्वयं आज़मा सकते हैं। यदि आप फ़ायरफ़ॉक्स का उपयोग कर रहे हैं तो वेबवीआर-आधारित डेमो भी पीसी वीआर हेडसेट के साथ काम करते हैं, लेकिन दुर्भाग्य से क्वेस्ट के ब्राउज़र के साथ काम नहीं करते हैं।

लकड़ी में प्रतिबिंब और घड़े के हैंडल में जटिल हाइलाइट्स पर ध्यान दें! इस तरह के दृश्य-निर्भर विवरण मौजूदा वॉल्यूमेट्रिक और फोटोग्राममेट्रिक कैप्चर विधियों के लिए बहुत कठिन हैं।

वॉल्यूमेट्रिक वीडियो कैप्चर जो मैंने वीआर में देखा है, आमतौर पर इस तरह के दृश्य-निर्भर प्रभावों के बारे में बहुत भ्रमित हो जाता है, अक्सर स्पेक्युलर हाइलाइट्स के लिए उपयुक्त स्टीरियो गहराई को निर्धारित करने में परेशानी होती है।

फोटोग्रामेट्री, या 'सीन स्कैनिंग' दृष्टिकोण, आमतौर पर दृश्य के प्रकाश को बनावट में 'बेक' करते हैं, जो अक्सर पारभासी वस्तुओं को कार्डबोर्ड की तरह दिखता है (क्योंकि जब आप ऑब्जेक्ट को विभिन्न कोणों पर देखते हैं तो प्रकाश हाइलाइट सही ढंग से नहीं चलते हैं)।

NeX व्यू सिंथेसिस रिसर्च आगे चलकर VR में वॉल्यूमेट्रिक कैप्चर और प्लेबैक के यथार्थवाद में काफी सुधार कर सकता है।