छवि क्रेडिट: फेसबुक एआई रिसर्च

मैंने हाल ही में AI शिक्षा पर एक नया न्यूज़लेटर शुरू किया और पहले से ही 50,000 से अधिक ग्राहक हैं। TheSequence एक no-BS (जिसका अर्थ है कोई प्रचार, कोई समाचार आदि नहीं) AI- केंद्रित समाचार पत्र जिसे पढ़ने में 5 मिनट लगते हैं। लक्ष्य आपको मशीन सीखने की परियोजनाओं, शोध पत्रों और अवधारणाओं के साथ अद्यतित रखना है। कृपया नीचे सदस्यता देकर इसे आज़माएं:

पिछले साल, फेसबुक एआई रिसर्च (एफएआईआर) खुला स्रोत ब्लेंडरबॉट 1.0, अब तक का सबसे बड़ा ओपन डोमेन चैटबॉट बनाया गया है। BlenderBot लगभग किसी भी विषय पर बड़ी संख्या में बातचीत करने में सक्षम है, जबकि मानव जैसी विशेषताओं जैसे सहानुभूति और जुड़ाव के व्यक्तिगत स्तर को प्रदर्शित करता है। BlenderBot का पहला संस्करण सहानुभूति, व्यक्तित्व और ज्ञान को एक प्रणाली में संयोजित करने वाले पहले चैटबॉट में से एक था।

पिछले हफ्ते, फेयर टीम BlenderBot का एक नया संस्करण खोलें जिसमें इसके पूर्ववर्ती के लिए कई महत्वपूर्ण सुधार शामिल हैं। अधिक विशेष रूप से, ब्लेंडरबॉट 2.0 में पिछले संस्करण के सापेक्ष दो मुख्य नवाचार शामिल हैं:

1. दीर्घकालिक स्मृति क्षमताओं में सुधार।
2. वास्तविक समय के ज्ञान के लिए इंटरनेट पर खोज करने की क्षमता।

ट्रांसफॉर्मर आर्किटेक्चर जैसे जीपीटी -3 या बीईआरटी ने प्राकृतिक भाषा प्रसंस्करण (एनएलपी) सिस्टम में क्रांतिकारी बदलाव किया है लेकिन उनकी अभी भी सीमाएं हैं। उनमें से, लंबी अवधि की मेमोरी बड़े ट्रांसफार्मर मॉडल की एक बड़ी खामी के रूप में सामने आती है। सामान्य तौर पर, ट्रांसफॉर्मर आर्किटेक्चर केवल अल्पकालिक स्मृति संरचनाओं का निर्माण करने में सक्षम होते हैं जो कि पूर्व-प्रशिक्षित ज्ञान पर अत्यधिक निर्भर होते हैं। उदाहरण के लिए, GPT-3 कुछ साल पहले की फिल्मों और टीवी श्रृंखलाओं के बारे में सुपर जानकार है, लेकिन वर्तमान शो के साथ अद्यतित नहीं है।

छवि क्रेडिट: फेसबुक एआई रिसर्च

इस सीमा को दूर करने के लिए, BlenderBot 2.0 प्रासंगिक ज्ञान के लिए इंटरनेट खोजों को ट्रिगर करने की क्षमता के साथ प्रशिक्षण ज्ञान को पूरक करता है जो उसके दीर्घकालिक मेमोरी स्टोर में कायम रहता है। वास्तुकला की दृष्टि से, ब्लेंडरबॉट 2.0 अपने ट्रांसफॉर्मर मॉडल को एक अतिरिक्त तंत्रिका नेटवर्क के साथ बढ़ाता है जो एक विशिष्ट संवादी संदर्भ के आधार पर खोज क्वेरी को ट्रिगर करता है। BlenderBot अंतिम प्रतिक्रिया को स्पष्ट करने के लिए मौजूदा संवादी ज्ञान के साथ खोज परिणामों के साथ संयोजन करता है।

छवि क्रेडिट: फेसबुक एआई रिसर्च

BlenderBot 2.0 आर्किटेक्चर का परिणाम एक चैटबॉट है जो प्राकृतिक बातचीत को वास्तविक समय के ज्ञान के साथ जोड़ सकता है जबकि पिछली बातचीत से संदर्भ तक भी पहुंच सकता है। BlenderBot 2.0 में उपयोग की जाने वाली तकनीकें नई पीढ़ी के संवादी प्रणालियों को प्रेरित कर सकती हैं जो वास्तविक विश्व प्रणालियों की आवश्यकताओं के लिए ट्रांसफॉर्मर आर्किटेक्चर को अपनाती हैं।

 
मूल। अनुमति के साथ पुनर्प्रकाशित।

संबंधित:

• फेसबुक ने इतिहास में सबसे कठिन सुदृढीकरण सीखने की चुनौतियों में से एक को लॉन्च किया
• डीपमाइंड मशीन लर्निंग में सबसे महत्वपूर्ण एल्गोरिदम में से एक की फिर से कल्पना करना चाहता है
• न्यू लुडविग अपडेट के साथ अद्भुत लो-कोड मशीन लर्निंग क्षमताएं