जनरेटिव एआई समाधान उत्पादकता बढ़ाने और ग्राहक अनुभवों में सुधार करके व्यवसायों को बदलने की क्षमता है, और इन समाधानों के साथ बड़े भाषा मॉडल (एलएलएम) का उपयोग तेजी से लोकप्रिय हो गया है। अत्याधुनिक होने के कारण अवधारणा का प्रमाण बनाना अपेक्षाकृत सरल है नींव मॉडल एक साधारण एपीआई कॉल के माध्यम से विशेष प्रदाताओं से उपलब्ध हैं। इसलिए, विभिन्न आकारों और विभिन्न उद्योगों के संगठनों ने जेनेरिक एआई का उपयोग करके अपने उत्पादों और प्रक्रियाओं की फिर से कल्पना करना शुरू कर दिया है।
अपने सामान्य ज्ञान के भंडार के बावजूद, अत्याधुनिक एलएलएम के पास केवल उसी जानकारी तक पहुंच होती है जिस पर उन्हें प्रशिक्षित किया गया था। इससे तथ्यात्मक अशुद्धियाँ (मतिभ्रम) हो सकती हैं जब एलएलएम को उस जानकारी के आधार पर पाठ तैयार करने के लिए कहा जाता है जो उन्होंने अपने प्रशिक्षण के दौरान नहीं देखी थी। इसलिए, एलएलएम के सामान्य ज्ञान और आपके मालिकाना डेटा के बीच अंतर को पाटना महत्वपूर्ण है ताकि मॉडल को मतिभ्रम के जोखिम को कम करते हुए अधिक सटीक और प्रासंगिक प्रतिक्रियाएं उत्पन्न करने में मदद मिल सके। फाइन-ट्यूनिंग की पारंपरिक विधि, हालांकि प्रभावी है, गणना-गहन, महंगी हो सकती है और इसके लिए तकनीकी विशेषज्ञता की आवश्यकता होती है। दूसरे विकल्प पर विचार करने को कहा गया है पुनर्प्राप्ति संवर्धित पीढ़ी (आरएजी), जो एलएलएम को बाहरी ज्ञान स्रोत से अतिरिक्त जानकारी प्रदान करता है जिसे आसानी से अपडेट किया जा सकता है।
इसके अतिरिक्त, उद्यमों को व्यक्तिगत डेटा या बौद्धिक संपदा जैसे मालिकाना और संवेदनशील डेटा को संभालते समय डेटा सुरक्षा सुनिश्चित करनी चाहिए। यह वित्तीय सेवाओं और स्वास्थ्य देखभाल और जीवन विज्ञान जैसे अत्यधिक विनियमित उद्योगों में काम करने वाले संगठनों के लिए विशेष रूप से महत्वपूर्ण है। इसलिए, जेनरेटिव एआई एप्लिकेशन के माध्यम से अपने डेटा के प्रवाह को समझना और नियंत्रित करना महत्वपूर्ण है: मॉडल कहां स्थित है? डेटा कहाँ संसाधित किया जाता है? डेटा तक पहुंच किसकी है? क्या डेटा का उपयोग मॉडलों को प्रशिक्षित करने के लिए किया जाएगा, जिससे अंततः सार्वजनिक एलएलएम में संवेदनशील डेटा के लीक होने का जोखिम होगा?
यह पोस्ट चर्चा करती है कि कैसे उद्यम मालिकाना डेटा पर पूर्ण नियंत्रण रखते हुए सटीक, पारदर्शी और सुरक्षित जेनरेटर एआई एप्लिकेशन बना सकते हैं। प्रस्तावित समाधान एआई-देशी प्रौद्योगिकी स्टैक का उपयोग करके एक आरएजी पाइपलाइन है, जिसके घटकों को एआई क्षमताओं को बाद में जोड़ने के बजाय एआई के साथ जमीन से ऊपर तक डिजाइन किया गया है। हम प्रदर्शित करते हैं कि एंड-टू-एंड RAG एप्लिकेशन का उपयोग कैसे करें कोहेरे के भाषा मॉडल पूज्य गुरुदेव के मार्गदर्शन से संपन्न कर सकते हैं - अमेज़ॅन बेडरॉक और एक AWS मार्केटप्लेस पर वेक्टर डेटाबेस बुनें. संलग्न स्रोत कोड इसमें उपलब्ध है संबंधित GitHub रिपॉजिटरी Weaviate द्वारा होस्ट किया गया। हालाँकि AWS पार्टनर के रिपॉजिटरी में कोड को बनाए रखने या अपडेट करने के लिए ज़िम्मेदार नहीं होगा, हम ग्राहकों को किसी भी वांछित अपडेट के संबंध में सीधे Weaviate से जुड़ने के लिए प्रोत्साहित करते हैं।
समाधान अवलोकन
निम्नलिखित उच्च-स्तरीय आर्किटेक्चर आरेख सटीक, पारदर्शी और सुरक्षित जेनरेटिव एआई समाधानों के निर्माण के लिए एआई-देशी प्रौद्योगिकी स्टैक के साथ प्रस्तावित आरएजी पाइपलाइन को दर्शाता है।
आरएजी वर्कफ़्लो के लिए तैयारी के चरण के रूप में, एक वेक्टर डेटाबेस, जो बाहरी ज्ञान स्रोत के रूप में कार्य करता है, मालिकाना डेटा से अतिरिक्त संदर्भ के साथ ग्रहण किया जाता है। वास्तविक RAG वर्कफ़्लो चित्र में दर्शाए गए चार चरणों का पालन करता है:
- उपयोगकर्ता अपनी क्वेरी दर्ज करता है।
- उपयोगकर्ता क्वेरी का उपयोग वेक्टर डेटाबेस से प्रासंगिक अतिरिक्त संदर्भ पुनर्प्राप्त करने के लिए किया जाता है। यह डेटाबेस से सबसे प्रासंगिक संदर्भ को पुनः प्राप्त करने के लिए वेक्टर खोज करने के लिए एक एम्बेडिंग मॉडल के साथ उपयोगकर्ता क्वेरी के वेक्टर एम्बेडिंग उत्पन्न करके किया जाता है।
- पुनर्प्राप्त संदर्भ और उपयोगकर्ता क्वेरी का उपयोग प्रॉम्प्ट टेम्पलेट को बढ़ाने के लिए किया जाता है। पुनर्प्राप्ति-संवर्धित संकेत एलएलएम को मतिभ्रम को कम करते हुए अधिक प्रासंगिक और सटीक समापन उत्पन्न करने में मदद करता है।
- उपयोगकर्ता को उनकी क्वेरी के आधार पर अधिक सटीक प्रतिक्रिया प्राप्त होती है।
आर्किटेक्चर आरेख में दर्शाए गए एआई-देशी प्रौद्योगिकी स्टैक के दो प्रमुख घटक हैं: कोहेयर भाषा मॉडल और एक वीविएट वेक्टर डेटाबेस।
अमेज़ॅन बेडरॉक में सुसंगत भाषा मॉडल
RSI सुसंगत मंच एक साधारण एपीआई कॉल के माध्यम से उद्यमों और डेवलपर्स के लिए अत्याधुनिक प्रदर्शन के साथ भाषा मॉडल लाता है। कोहेयर प्लेटफ़ॉर्म दो प्रमुख प्रकार की भाषा प्रसंस्करण क्षमताएं प्रदान करता है - जेनरेटर और एम्बेडिंग - और प्रत्येक को एक अलग प्रकार के मॉडल द्वारा परोसा जाता है:
- पाठ पीढ़ी साथ में आदेश - डेवलपर्स उन एंडपॉइंट्स तक पहुंच सकते हैं जो जनरेटिव एआई क्षमताओं को शक्ति प्रदान करते हैं, जिससे वार्तालाप, प्रश्न उत्तर, कॉपी राइटिंग, संक्षेपण, सूचना निष्कर्षण और बहुत कुछ जैसे एप्लिकेशन सक्षम होते हैं।
- पाठ प्रतिनिधित्व साथ में एम्बेड - डेवलपर्स उन एंडपॉइंट्स तक पहुंच सकते हैं जो टेक्स्ट के अर्थपूर्ण अर्थ को पकड़ते हैं, वेक्टर खोज इंजन, टेक्स्ट वर्गीकरण और क्लस्टरिंग जैसे अनुप्रयोगों को सक्षम करते हैं। कोहेयर एंबेड दो रूपों में आता है, एक अंग्रेजी भाषा मॉडल और एक बहुभाषी मॉडल, जो दोनों हैं अब अमेज़न बेडरॉक पर उपलब्ध है.
कोहेयर प्लेटफ़ॉर्म उद्यमों को अमेज़ॅन बेडरॉक परिनियोजन के माध्यम से अपने जेनरेटिव एआई समाधान को निजी और सुरक्षित रूप से अनुकूलित करने का अधिकार देता है। अमेज़ॅन बेडरॉक एक पूरी तरह से प्रबंधित क्लाउड सेवा है जो विकास टीमों को जेनेरिक एआई अनुप्रयोगों को जल्दी से बनाने और स्केल करने में सक्षम बनाती है आपके डेटा और एप्लिकेशन को सुरक्षित और निजी रखने में मदद करते हुए. आपके डेटा का उपयोग सेवा सुधार के लिए नहीं किया जाता है, इसे कभी भी तृतीय-पक्ष मॉडल प्रदाताओं के साथ साझा नहीं किया जाता है, और इसमें रखा जाता है क्षेत्र जहां एपीआई कॉल संसाधित की जाती है। डेटा हमेशा ट्रांज़िट और आराम के दौरान एन्क्रिप्ट किया जाता है, और आप अपनी स्वयं की कुंजी का उपयोग करके डेटा को एन्क्रिप्ट कर सकते हैं। अमेज़ॅन बेडरॉक अमेरिकी स्वास्थ्य बीमा पोर्टेबिलिटी और जवाबदेही अधिनियम (एचआईपीएए) पात्रता और सामान्य डेटा संरक्षण विनियमन (जीडीपीआर) अनुपालन सहित सुरक्षा आवश्यकताओं का समर्थन करता है। इसके अतिरिक्त, आप पहले से ही परिचित AWS टूल का उपयोग करके अपने जेनेरिक AI अनुप्रयोगों को सुरक्षित रूप से एकीकृत और आसानी से तैनात कर सकते हैं।
AWS मार्केटप्लेस पर वेक्टर डेटाबेस बुनें
बुनना है एक एआई-देशी वेक्टर डेटाबेस जो विकास टीमों के लिए सुरक्षित और पारदर्शी जेनरेटर एआई एप्लिकेशन बनाना आसान बनाता है। Weaviate का उपयोग वेक्टर डेटा और स्रोत ऑब्जेक्ट दोनों को संग्रहीत करने और खोजने के लिए किया जाता है, जो अलग-अलग डेटाबेस को होस्ट और एकीकृत करने की आवश्यकता को समाप्त करके विकास को सरल बनाता है। Weaviate सबसेकंड सिमेंटिक खोज प्रदर्शन प्रदान करता है और अरबों वैक्टर और लाखों किरायेदारों को संभालने के लिए स्केल कर सकता है। विशिष्ट रूप से एक्स्टेंसिबल आर्किटेक्चर के साथ, वीविएट डेटा के सुविधाजनक वैश्वीकरण की सुविधा और डेटाबेस के भीतर से इसकी जेनरेटिव क्षमताओं का उपयोग करने के लिए अमेज़ॅन बेडरॉक में तैनात कोहेर फाउंडेशन मॉडल के साथ मूल रूप से एकीकृत करता है।
वीविएट एआई-नेटिव वेक्टर डेटाबेस ग्राहकों को इसे ब्रिंग-योर-ओन-क्लाउड (बीवाईओसी) समाधान या प्रबंधित सेवा के रूप में तैनात करने की सुविधा देता है। यह शोकेस इसका उपयोग करता है AWS मार्केटप्लेस पर कुबेरनेट्स क्लस्टर बुनें, Weaviate की BYOC पेशकश का हिस्सा, जो आपके AWS किरायेदार और VPC के अंदर कंटेनर-आधारित स्केलेबल तैनाती की अनुमति देता है, बस कुछ ही क्लिक के साथ। एडब्ल्यूएस CloudFormation टेम्पलेट. यह दृष्टिकोण सुनिश्चित करता है कि आपका वेक्टर डेटाबेस विलंबता को कम करने, डेटा स्थानीयता का समर्थन करने और जीडीपीआर जैसी संभावित नियामक आवश्यकताओं को संबोधित करते हुए संवेदनशील डेटा की सुरक्षा के लिए फाउंडेशन मॉडल और मालिकाना डेटा के करीब आपके विशिष्ट क्षेत्र में तैनात किया गया है।
केस अवलोकन का उपयोग करें
निम्नलिखित अनुभागों में, हम प्रदर्शित करते हैं कि कोहेयर, एडब्ल्यूएस और वीविएट के साथ एआई-देशी प्रौद्योगिकी स्टैक का उपयोग करके आरएजी समाधान कैसे बनाया जाए, जैसा कि समाधान अवलोकन में दिखाया गया है।
उदाहरण उपयोग मामला लक्षित दर्शकों के आधार पर छुट्टियों में रहने की सूची के लिए लक्षित विज्ञापन उत्पन्न करता है। लक्ष्य लक्षित दर्शकों के लिए उपयोगकर्ता क्वेरी का उपयोग करना है (उदाहरण के लिए, "छोटे बच्चों वाला परिवार") सबसे प्रासंगिक अवकाश प्रवास सूची (उदाहरण के लिए, पास के खेल के मैदानों वाली एक सूची) को पुनः प्राप्त करना और फिर इसके लिए एक विज्ञापन तैयार करना है। लक्षित दर्शकों के अनुरूप पुनर्प्राप्त सूची।
डेटासेट यहां से उपलब्ध है एयरबीएनबी के अंदर और एक के तहत लाइसेंस प्राप्त है क्रिएटिव कॉमन्स एट्रिब्यूशन 4.0 इंटरनेशनल लाइसेंस. आप संलग्न कोड इसमें पा सकते हैं गिटहब भंडार.
.. पूर्वापेक्षाएँ
निम्नलिखित ट्यूटोरियल में अनुसरण करने और किसी भी AWS सेवा का उपयोग करने के लिए, सुनिश्चित करें कि आपके पास एक है AWS खाता.
एआई-देशी प्रौद्योगिकी स्टैक के घटकों को सक्षम करें
सबसे पहले, आपको अपने AWS खाते में समाधान अवलोकन में चर्चा किए गए प्रासंगिक घटकों को सक्षम करना होगा। निम्नलिखित चरणों को पूरा करें:
- बाएँ में अमेज़ॅन बेडरॉक कंसोल, चुनें मॉडल पहुंच नेविगेशन फलक में
- चुनें मॉडल पहुंच प्रबंधित करें शीर्ष दाईं ओर।
- अपनी पसंद के फाउंडेशन मॉडल चुनें और पहुंच का अनुरोध करें।
इसके बाद, आप एक वीवेट क्लस्टर स्थापित करें।
- की सदस्यता लें AWS मार्केटप्लेस पर कुबेरनेट्स क्लस्टर बुनें.
- का उपयोग करके सॉफ़्टवेयर लॉन्च करें आपके पसंदीदा उपलब्धता क्षेत्र के अनुसार क्लाउडफॉर्मेशन टेम्पलेट.
क्लाउडफ़ॉर्मेशन टेम्प्लेट डिफ़ॉल्ट मानों से पहले से भरा हुआ है।
- के लिए ढेर का नाम, स्टैक नाम दर्ज करें।
- के लिए हेल्मुथेंटिकेशन प्रकार, सेटिंग द्वारा प्रमाणीकरण सक्षम करने की अनुशंसा की जाती है
helmauthenticationtype
सेवा मेरेapikey
और एक को परिभाषित करना हेल्मुथेंटिकेशनएपीकी. - के लिए हेल्मुथेंटिकेशनएपीकी, अपनी Weaviate API कुंजी दर्ज करें।
- के लिए हेल्मचार्टसंस्करण, अपना संस्करण क्रमांक दर्ज करें। यह कम से कम v.16.8.0 होना चाहिए. को देखें गीथहब रेपो नवीनतम संस्करण के लिए।
- के लिए हेल्मनेबलमॉड्यूल, सुनिश्चित करो
tex2vec-aws
औरgenerative-aws
Weaviate के भीतर सक्षम मॉड्यूल की सूची में मौजूद हैं।
इस टेम्पलेट को पूरा होने में लगभग 30 मिनट का समय लगता है।
Weaviate से कनेक्ट करें
Weaviate से जुड़ने के लिए निम्नलिखित चरणों को पूरा करें:
- में अमेज़न SageMaker कंसोल, पर जाए नोटबंदी के उदाहरण नेविगेशन फलक में के माध्यम से नोटबुक > नोटबंदी के उदाहरण बाईं तरफ।
- एक नया नोटबुक इंस्टेंस बनाएं.
- आवश्यक निर्भरता के साथ Weaviate क्लाइंट पैकेज स्थापित करें:
- निम्नलिखित कोड के साथ अपने Weaviate इंस्टेंस से कनेक्ट करें:
- यूआरएल बुनें - लोड बैलेंसर यूआरएल के माध्यम से वीविएट तक पहुंचें। में अमेज़ॅन इलास्टिक कम्प्यूट क्लाउड (अमेज़न EC2) कंसोल, चुनें बैलेंसर्स लोड करें नेविगेशन फलक में और लोड बैलेंसर ढूंढें। DNS नाम कॉलम देखें और जोड़ें
http://
इसके सामने। - बुनाई एपीआई कुंजी - यह वह कुंजी है जिसे आपने पहले क्लाउडफॉर्मेशन टेम्पलेट में सेट किया था (
helmauthenticationapikey
). - AWS एक्सेस कुंजी और गुप्त एक्सेस कुंजी - आप अपने उपयोगकर्ता के लिए एक्सेस कुंजी और गुप्त एक्सेस कुंजी पुनः प्राप्त कर सकते हैं AWS पहचान और अभिगम प्रबंधन (आईएएम) कंसोल.
कोहेयर मॉडल को सक्षम करने के लिए अमेज़ॅन बेडरॉक मॉड्यूल को कॉन्फ़िगर करें
इसके बाद, आप एक डेटा संग्रह परिभाषित करते हैं (class
) बुलाया Listings
लिस्टिंग के डेटा ऑब्जेक्ट को संग्रहीत करने के लिए, जो एक रिलेशनल डेटाबेस में एक तालिका बनाने के समान है। इस चरण में, आप वीविएट वेक्टर डेटाबेस के भीतर से अमेज़ॅन बेडरॉक पर होस्ट किए गए कोहेरे भाषा मॉडल के उपयोग को सक्षम करने के लिए संबंधित मॉड्यूल को कॉन्फ़िगर करते हैं। वेक्टराइज़र ("text2vec-aws
") और जनरेटिव मॉड्यूल ("generative-aws
“) डेटा संग्रह परिभाषा में निर्दिष्ट हैं। ये दोनों मॉड्यूल तीन पैरामीटर लेते हैं:
- "सेवा" - उपयोग "
bedrock
अमेज़ॅन बेडरॉक के लिए (वैकल्पिक रूप से, "का उपयोग करें")sagemaker
" के लिये अमेज़न SageMaker जम्पस्टार्ट) - "क्षेत्र" - वह क्षेत्र दर्ज करें जहां आपका मॉडल तैनात है
- "नमूना" - फाउंडेशन मॉडल का नाम प्रदान करें
निम्नलिखित कोड देखें:
Weaviate वेक्टर डेटाबेस में डेटा डालें
इस चरण में, आप डेटा संग्रह के गुणों को कॉन्फ़िगर करके उसकी संरचना को परिभाषित करते हैं। प्रॉपर्टी के नाम और डेटा प्रकार के अलावा, आप यह भी कॉन्फ़िगर कर सकते हैं कि क्या केवल डेटा ऑब्जेक्ट संग्रहीत किया जाएगा या यदि इसे इसके वेक्टर एम्बेडिंग के साथ संग्रहीत किया जाएगा। इस उदाहरण में, host_name
और property_type
वेक्टरकृत नहीं हैं:
अपने Weaviate उदाहरण में संग्रह बनाने के लिए निम्नलिखित कोड चलाएँ:
अब आप Weaviate में ऑब्जेक्ट जोड़ सकते हैं। आप अधिकतम दक्षता के लिए बैच आयात प्रक्रिया का उपयोग करते हैं। डेटा आयात करने के लिए निम्नलिखित कोड चलाएँ। आयात के दौरान, वीविएट प्रत्येक ऑब्जेक्ट के लिए वेक्टर एम्बेडिंग बनाने के लिए परिभाषित वेक्टराइज़र का उपयोग करेगा। निम्नलिखित कोड ऑब्जेक्ट्स को लोड करता है, एक बैच प्रक्रिया प्रारंभ करता है, और ऑब्जेक्ट्स को एक-एक करके लक्ष्य संग्रह में जोड़ता है:
पुनर्प्राप्ति संवर्धित पीढ़ी
आप अपने Weaviate उदाहरण पर एक जेनरेटिव खोज क्वेरी लागू करके एक RAG पाइपलाइन बना सकते हैं। इसके लिए, आप पहले एक एफ-स्ट्रिंग के रूप में एक प्रॉम्प्ट टेम्पलेट को परिभाषित करें जो उपयोगकर्ता क्वेरी में ले सकता है ({target_audience}
) सीधे और अतिरिक्त संदर्भ ({{host_name}}
, {{property_type}}
, {{description}}
, तथा {{neighborhood_overview}}
) रनटाइम पर वेक्टर डेटाबेस से:
इसके बाद, आप एक जेनरेटिव सर्च क्वेरी चलाते हैं। यह परिभाषित जेनरेटिव मॉडल को एक संकेत के साथ संकेत देता है जिसमें उपयोगकर्ता क्वेरी के साथ-साथ पुनर्प्राप्त डेटा भी शामिल होता है। निम्नलिखित क्वेरी एक लिस्टिंग ऑब्जेक्ट को पुनः प्राप्त करती है (.with_limit(1)
) वहाँ से Listings
संग्रह जो उपयोगकर्ता क्वेरी के समान है (.with_near_text({"concepts": target_audience})
). फिर उपयोगकर्ता क्वेरी (target_audience
) और पुनर्प्राप्त लिस्टिंग गुण (["description", "neighborhood", "host_name", "property_type"]
) प्रॉम्प्ट टेम्पलेट में फीड किए गए हैं। निम्नलिखित कोड देखें:
निम्नलिखित उदाहरण में, आप देख सकते हैं कि कोड का पिछला भाग target_audience = “Family with small children”
मेज़बान Marre से एक सूची पुनर्प्राप्त करता है। प्रॉम्प्ट टेम्प्लेट को मार्रे की लिस्टिंग विवरण और लक्षित दर्शकों के साथ संवर्धित किया गया है:
पुनर्प्राप्ति-संवर्धित संकेत के आधार पर, कोहेयर का कमांड मॉडल निम्नलिखित लक्षित विज्ञापन उत्पन्न करता है:
वैकल्पिक अनुकूलन
आप प्रस्तावित समाधान में विभिन्न घटकों के लिए वैकल्पिक अनुकूलन कर सकते हैं, जैसे कि निम्नलिखित:
- कोहेरे के भाषा मॉडल भी उपलब्ध हैं अमेज़न SageMaker जम्पस्टार्ट, जो अत्याधुनिक फाउंडेशन मॉडल तक पहुंच प्रदान करता है और डेवलपर्स को एलएलएम तैनात करने में सक्षम बनाता है अमेज़न SageMaker, एक पूरी तरह से प्रबंधित सेवा जो किसी भी उपयोग के मामले के लिए उच्च-प्रदर्शन, कम लागत वाली मशीन सीखने को सक्षम करने के लिए उपकरणों का एक व्यापक सेट एक साथ लाती है। वीविएट को सेजमेकर के साथ भी एकीकृत किया गया है।
- इस समाधान में एक शक्तिशाली जोड़ है कोहेयर रेरैंक एंडपॉइंट, सेजमेकर जम्पस्टार्ट के माध्यम से उपलब्ध है। रीरैंक शाब्दिक या अर्थ संबंधी खोज से खोज परिणामों की प्रासंगिकता में सुधार कर सकता है। रीरैंक एक खोज प्रणाली द्वारा पुनर्प्राप्त किए गए दस्तावेज़ों के लिए सिमेंटिक प्रासंगिकता स्कोर की गणना करके और इन अंकों के आधार पर दस्तावेज़ों की रैंकिंग करके काम करता है। किसी एप्लिकेशन में रीरैंक जोड़ने के लिए कोड परिवर्तन की केवल एक पंक्ति की आवश्यकता होती है।
- विभिन्न उत्पादन परिवेशों की विभिन्न तैनाती आवश्यकताओं को पूरा करने के लिए, वीविएट को विभिन्न अतिरिक्त तरीकों से तैनात किया जा सकता है। उदाहरण के लिए, यह सीधे डाउनलोड के रूप में उपलब्ध है वेबसाइट बुनें, जो चलता है अमेज़ॅन इलास्टिक कुबेरनेट्स सेवा (अमेज़ॅन ईकेएस) या स्थानीय रूप से डाक में काम करनेवाला मज़दूर or Kubernetes। यह एक के रूप में भी उपलब्ध है प्रबंधित सेवा जो 14 दिन के निःशुल्क परीक्षण के साथ VPC के भीतर या AWS पर होस्ट की गई सार्वजनिक क्लाउड सेवा के रूप में सुरक्षित रूप से चल सकता है।
- आप अपने समाधान को वीपीसी में उपयोग करके प्रस्तुत कर सकते हैं अमेज़ॅन वर्चुअल प्राइवेट क्लाउड (अमेज़ॅन वीपीसी), जो संगठनों को तार्किक रूप से पृथक वर्चुअल नेटवर्क में एडब्ल्यूएस सेवाएं लॉन्च करने में सक्षम बनाता है, जो पारंपरिक नेटवर्क जैसा दिखता है लेकिन एडब्ल्यूएस के स्केलेबल बुनियादी ढांचे के लाभों के साथ। डेटा की संवेदनशीलता के वर्गीकृत स्तर के आधार पर, संगठन इन वीपीसी में इंटरनेट एक्सेस को अक्षम भी कर सकते हैं।
क्लीन अप
अप्रत्याशित शुल्कों को रोकने के लिए, इस पोस्ट के हिस्से के रूप में आपके द्वारा तैनात किए गए सभी संसाधनों को हटा दें। यदि आपने CloudFormation स्टैक लॉन्च किया है, तो आप इसे AWS CloudFormation कंसोल के माध्यम से हटा सकते हैं। ध्यान दें कि कुछ AWS संसाधन हो सकते हैं, जैसे अमेज़न इलास्टिक ब्लॉक स्टोर (अमेज़ॅन ईबीएस) वॉल्यूम और AWS प्रमुख प्रबंधन सेवा (AWS KMS) कुंजियाँ, जिन्हें क्लाउडफॉर्मेशन स्टैक हटाए जाने पर स्वचालित रूप से हटाया नहीं जा सकता है।
निष्कर्ष
इस पोस्ट में चर्चा की गई है कि कैसे उद्यम अपने डेटा पर पूर्ण नियंत्रण रखते हुए भी सटीक, पारदर्शी और सुरक्षित जेनेरिक एआई एप्लिकेशन बना सकते हैं। प्रस्तावित समाधान एक आरएजी पाइपलाइन है जो अमेज़ॅन बेडरॉक में कोहेर फाउंडेशन मॉडल और एडब्ल्यूएस मार्केटप्लेस पर वीविएट वेक्टर डेटाबेस के संयोजन के रूप में एआई-देशी प्रौद्योगिकी स्टैक का उपयोग करता है। आरएजी दृष्टिकोण उद्यमों को मतिभ्रम को कम करते हुए एलएलएम के सामान्य ज्ञान और मालिकाना डेटा के बीच अंतर को पाटने में सक्षम बनाता है। एआई-देशी प्रौद्योगिकी स्टैक तेजी से विकास और स्केलेबल प्रदर्शन को सक्षम बनाता है।
आप इस पोस्ट में उल्लिखित चरणों का उपयोग करके अपने एंटरप्राइज़-तैयार जेनेरिक एआई अनुप्रयोगों के लिए अवधारणा के आरएजी प्रमाणों के साथ प्रयोग शुरू कर सकते हैं। संलग्न स्रोत कोड इसमें उपलब्ध है संबंधित GitHub रिपॉजिटरी. पढ़ने के लिए आपका शुक्रिया। टिप्पणी अनुभाग में टिप्पणी या प्रतिक्रिया देने के लिए स्वतंत्र महसूस करें।
लेखक के बारे में
जेम्स यी अमेज़ॅन वेब सर्विसेज में टेक्नोलॉजी पार्टनर्स सीओई टेक टीम में एक वरिष्ठ एआई/एमएल पार्टनर सॉल्यूशंस आर्किटेक्ट हैं। उन्हें व्यावसायिक मूल्य प्राप्त करने के लिए एआई/एमएल अनुप्रयोगों को डिजाइन करने, तैनात करने और स्केल करने के लिए उद्यम ग्राहकों और भागीदारों के साथ काम करने का शौक है। काम के अलावा, उन्हें फुटबॉल खेलना, यात्रा करना और अपने परिवार के साथ समय बिताना अच्छा लगता है।
लियोनी मोनीगट्टी Weaviate में एक डेवलपर एडवोकेट है। उसका फोकस क्षेत्र एआई/एमएल है, और वह डेवलपर्स को जेनरेटिव एआई के बारे में सीखने में मदद करती है। काम के अलावा, वह डेटा साइंस और एमएल में अपनी सीख अपने ब्लॉग और कागल पर भी साझा करती हैं।
मेर आमेर अत्याधुनिक प्राकृतिक भाषा प्रसंस्करण (एनएलपी) तकनीक प्रदाता, कोहेयर में एक डेवलपर एडवोकेट है। वह डेवलपर्स को कोहेयर के बड़े भाषा मॉडल (एलएलएम) के साथ अत्याधुनिक एप्लिकेशन बनाने में मदद करता है।
दूर माओ अमेज़ॅन वेब सर्विसेज में इमर्जिंग टेक्नोलॉजीज टीम में एक वरिष्ठ एआई/एमएल पार्टनर सॉल्यूशंस आर्किटेक्ट हैं। उन्हें अपने व्यावसायिक मूल्यों को प्राप्त करने के लिए एआई/एमएल अनुप्रयोगों को डिजाइन करने, तैनात करने और स्केल करने के लिए उद्यम ग्राहकों और भागीदारों के साथ काम करने का शौक है। काम के अलावा, उन्हें मछली पकड़ना, यात्रा करना और पिंग-पोंग खेलना पसंद है।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/build-enterprise-ready-generative-ai-solutions-with-cohere-foundation-models-in-amazon-bedrock-and-weaviate-vector-database-on-aws-marketplace/
- :हैस
- :है
- :नहीं
- :कहाँ
- $यूपी
- 1
- 10
- 100
- 11
- 12
- 13
- 16
- 17
- 19
- 23
- 30
- 32
- 33
- 7
- 8
- 9
- a
- About
- पहुँच
- उपयोग प्रबंधन
- अनुसार
- लेखा
- जवाबदेही
- सही
- के पार
- अधिनियम
- वास्तविक
- जोड़ना
- जोड़ा
- जोड़ने
- इसके अलावा
- अतिरिक्त
- अतिरिक्त जानकारी
- इसके अतिरिक्त
- को संबोधित
- जोड़ता है
- वयस्कों
- विज्ञापन
- वकील
- AI
- ऐ / एमएल
- Airbnb
- सब
- की अनुमति देता है
- साथ में
- पहले ही
- भी
- वैकल्पिक
- हालांकि
- हमेशा
- वीरांगना
- अमेज़ॅन EC2
- अमेज़न SageMaker
- अमेज़ॅन वेब सेवा
- एम्सटर्डम
- an
- और
- अन्य
- जवाब दे
- कोई
- एपीआई
- आवेदन
- अनुप्रयोगों
- दृष्टिकोण
- स्थापत्य
- हैं
- क्षेत्र
- क्षेत्रों के बारे में जानकारी का उपयोग करके ट्रेडिंग कर सकते हैं।
- AS
- अलग
- At
- आकर्षण
- दर्शक
- बढ़ाना
- संवर्धित
- प्रमाणीकरण
- स्वतः
- उपलब्धता
- उपलब्ध
- दूर
- एडब्ल्यूएस
- एडब्ल्यूएस CloudFormation
- AWS पहचान और अभिगम प्रबंधन (IAM)
- एडब्ल्यूएस बाज़ार
- कसरती
- सलाखों
- आधारित
- BE
- क्योंकि
- बन
- शुरू कर दिया
- लाभ
- BEST
- के बीच
- अरबों
- खंड
- ब्लॉग
- बढ़ाने
- के छात्रों
- पुल
- लाता है
- विस्तृत
- निर्माण
- इमारत
- व्यापार
- व्यवसायों
- लेकिन
- by
- कैफे
- कॉल
- बुलाया
- कर सकते हैं
- क्षमताओं
- कब्जा
- मामला
- पूरा
- केंद्रीय
- केंद्र
- परिवर्तन
- प्रभार
- बच्चे
- चुनाव
- चुनें
- City
- कक्षा
- वर्गीकरण
- वर्गीकृत
- ग्राहक
- समापन
- बादल
- समूह
- गुच्छन
- कोड
- संग्रह
- स्तंभ
- संयोजन
- कैसे
- आता है
- टिप्पणियाँ
- जन
- पूरा
- समापन
- अनुपालन
- घटकों
- शामिल
- गणना करना
- कंप्यूटिंग
- संकल्पना
- अवधारणाओं
- को विन्यस्त
- जुडिये
- विचार करना
- कंसोल
- प्रसंग
- प्रासंगिक
- नियंत्रण
- सुविधाजनक
- आसानी से
- संवादी
- copywriting
- मूल
- बनाना
- बनाना
- महत्वपूर्ण
- ग्राहक
- ग्राहक
- अनुकूलित
- अग्रणी
- तिथि
- आँकड़ा रक्षण
- डेटा विज्ञान
- डाटा सुरक्षा
- डाटाबेस
- डेटाबेस
- चूक
- परिभाषित
- परिभाषित
- परिभाषित करने
- परिभाषा
- बचाता है
- दिखाना
- निर्भरता
- निर्भर करता है
- तैनात
- तैनात
- तैनाती
- निकाले जाते हैं
- विवरण
- डिज़ाइन
- बनाया गया
- वांछित
- विवरण
- डेवलपर
- डेवलपर्स
- विकास
- विकास दल
- विभिन्न
- भोजन
- प्रत्यक्ष
- सीधे
- चर्चा की
- DNS
- दस्तावेजों
- किया
- डाउनलोड
- दौरान
- से प्रत्येक
- पूर्व
- आसानी
- EBS
- प्रभावी
- दक्षता
- बुलंद
- पात्रता
- नष्ट
- एम्बेड
- embedding
- कस्र्न पत्थर
- उभरती तकनीकी
- अधिकार
- सक्षम
- सक्षम
- सक्षम बनाता है
- समर्थकारी
- प्रोत्साहित करना
- एन्क्रिप्टेड
- शुरू से अंत तक
- अंतबिंदु
- इंजन
- अंग्रेज़ी
- सुनिश्चित
- सुनिश्चित
- दर्ज
- उद्यम
- उद्यम ग्राहकों
- उद्यम
- में प्रवेश करती है
- संपूर्ण
- वातावरण
- ईथर (ईटीएच)
- अंत में
- उदाहरण
- महंगा
- अनुभव
- अनुभव
- विशेषज्ञता
- बाहरी
- निष्कर्षण
- की सुविधा
- तथ्यात्मक
- परिचित
- परिवार
- फास्ट
- विशेषताएं
- की विशेषता
- फेड
- प्रतिक्रिया
- लग रहा है
- कुछ
- पट्टिका
- वित्तीय
- वित्तीय सेवाओं
- खोज
- प्रथम
- मछली पकड़ना
- लचीलापन
- मंज़िल
- प्रवाह
- फोकस
- का पालन करें
- निम्नलिखित
- इस प्रकार है
- के लिए
- प्रपत्र
- रूपों
- बुनियाद
- चार
- मुक्त
- मुफ्त आज़माइश
- से
- सामने
- पूर्ण
- पूरी तरह से
- आगे
- अन्तर
- GDPR
- सामान्य जानकारी
- सामान्य आंकड़ा
- जनरल डेटा संरक्षण विनियम
- उत्पन्न
- उत्पन्न करता है
- सृजन
- पीढ़ी
- उत्पादक
- जनरेटिव एआई
- जेनेरिक मॉडल
- GitHub
- देता है
- लक्ष्य
- जमीन
- समूह
- आधा
- संभालना
- हैंडलिंग
- है
- होने
- he
- शीर्षक
- स्वास्थ्य
- स्वास्थ्य बीमा
- स्वास्थ्य सेवा
- दिल
- भारी
- मदद
- मदद
- मदद करता है
- उसे
- उच्च स्तर
- उच्च प्रदर्शन
- उसके
- होम
- मेजबान
- मेजबानी
- कैसे
- How To
- http
- HTTPS
- आई ए एम
- पहचान
- पहचान और पहुंच प्रबंधन
- पहचान और पहुंच प्रबंधन (IAM)
- if
- दिखाता है
- कार्यान्वयन
- आयात
- महत्वपूर्ण
- में सुधार
- सुधार
- में सुधार लाने
- in
- सहित
- तेजी
- उद्योगों
- करें-
- जानकारी निकासी
- इंफ्रास्ट्रक्चर
- अंदर
- स्थापित
- उदाहरण
- बीमा
- एकीकृत
- एकीकृत
- एकीकृत
- बौद्धिक
- बौद्धिक संपदा
- अंतरराष्ट्रीय स्तर पर
- इंटरनेट
- इंटरनेट एक्सेस
- में
- पृथक
- IT
- आईटी इस
- जेपीजी
- केवल
- रखना
- रखना
- कुंजी
- Instagram पर
- बच्चे
- ज्ञान
- Kubernetes
- भाषा
- बड़ा
- विलंब
- ताज़ा
- लांच
- शुभारंभ
- नेतृत्व
- बिक्रीसूत्र
- रिसाव
- जानें
- सीख रहा हूँ
- कम से कम
- बाएं
- स्तर
- लाइसेंस - प्राप्त
- जीवन
- जीवन विज्ञान
- लाइन
- सूची
- लिस्टिंग
- लिस्टिंग
- जीवित
- भार
- भार
- स्थानीय
- स्थानीय स्तर पर
- स्थित
- स्थान
- देखिए
- देख
- कम लागत
- मशीन
- यंत्र अधिगम
- को बनाए रखने
- बनाना
- बनाता है
- प्रबंधन
- कामयाब
- प्रबंध
- बाजार
- मास्टर
- अधिकतम
- मई..
- अर्थ
- साधन
- -K-on (ITS MY FAVORITE ANIME!)
- तरीका
- लाखों
- कम से कम
- कम से कम
- मिनट
- ML
- आदर्श
- मॉडल
- मॉड्यूल
- मॉड्यूल
- अधिक
- अधिकांश
- चाहिए
- नाम
- मूल रूप से
- प्राकृतिक
- प्राकृतिक भाषा
- प्राकृतिक भाषा संसाधन
- नेविगेट करें
- पथ प्रदर्शन
- आवश्यकता
- नेटवर्क
- कभी नहीँ
- नया
- NLP
- नहीं
- नोट
- नोटबुक
- अभी
- संख्या
- वस्तु
- वस्तुओं
- of
- प्रस्ताव
- की पेशकश
- on
- ONE
- केवल
- परिचालन
- विकल्प
- or
- संगठनों
- अन्य
- हमारी
- उल्लिखित
- बाहर
- के ऊपर
- सिंहावलोकन
- अपना
- पैकेज
- प्रदत्त
- पांडा
- फलक
- पैरामीटर
- पार्किंग
- भाग
- विशेष रूप से
- साथी
- भागीदारों
- आवेशपूर्ण
- उत्तम
- निष्पादन
- प्रदर्शन
- स्टाफ़
- व्यक्तिगत डेटा
- टुकड़ा
- पाइपलाइन
- जगह
- मंच
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- खेल
- लोकप्रिय
- पोर्टेबिलिटी
- पद
- संभावित
- बिजली
- शक्तिशाली
- पूर्ववर्ती
- वरीय
- तैयारी
- वर्तमान
- को रोकने के
- निजी
- प्रक्रिया
- संसाधित
- प्रक्रियाओं
- प्रसंस्करण
- उत्पादन
- उत्पादकता
- उत्पाद
- संकेतों
- सबूत
- गुण
- संपत्ति
- प्रस्तावित
- मालिकाना
- रक्षा करना
- सुरक्षा
- प्रदान करना
- प्रदाता
- प्रदाताओं
- प्रदान करता है
- सार्वजनिक
- सार्वजनिक क्लाउड
- प्रश्न
- जल्दी से
- खपरैल
- रैंकिंग
- बल्कि
- RE
- पढ़ना
- पढ़ना
- प्राप्त
- की सिफारिश की
- को कम करने
- उल्लेख
- के बारे में
- क्षेत्र
- विनियमित
- विनियमित उद्योगों
- विनियमन
- नियामक
- अपेक्षाकृत
- प्रासंगिकता
- प्रासंगिक
- बाकी है
- कोष
- का अनुरोध
- अपेक्षित
- आवश्यकताएँ
- की आवश्यकता होती है
- मिलता - जुलता
- उपयुक्त संसाधन चुनें
- प्रतिक्रिया
- प्रतिक्रियाएं
- जिम्मेदार
- बाकी
- रेस्टोरेंट्स
- परिणाम
- परिणाम
- सही
- जोखिम
- खतरे में डालकर
- कक्ष
- आरओडब्ल्यू
- रन
- चलाता है
- s
- sagemaker
- स्केलेबल
- स्केल
- विज्ञान
- विज्ञान
- स्कोर
- Search
- खोज इंजन
- गुप्त
- अनुभाग
- वर्गों
- सुरक्षित
- सुरक्षित रूप से
- सुरक्षा
- देखना
- अर्थ
- वरिष्ठ
- संवेदनशील
- संवेदनशीलता
- अलग
- सेवा
- सेवा की
- कार्य करता है
- सेवा
- सेवाएँ
- सेट
- की स्थापना
- साझा
- शेयरों
- वह
- कम
- प्रदर्शन
- समान
- सरल
- सरल
- एक
- आकार
- छोटा
- फुटबॉल
- सॉफ्टवेयर
- समाधान
- समाधान ढूंढे
- कुछ
- स्रोत
- स्रोत कोड
- अंतरिक्ष
- विशेषीकृत
- विशिष्ट
- विनिर्दिष्ट
- खर्च
- धुआँरा
- प्रारंभ
- राज्य के-the-कला
- रहना
- कदम
- कदम
- फिर भी
- की दुकान
- संग्रहित
- सरल
- संरचना
- ऐसा
- उपयुक्त
- समर्थन
- समर्थन करता है
- निश्चित
- प्रणाली
- तालिका
- अनुरूप
- लेना
- लेता है
- लक्ष्य
- लक्षित
- टीम
- टीमों
- तकनीक
- तकनीकी
- टेक्नोलॉजीज
- टेक्नोलॉजी
- टेम्पलेट
- किरायेदार
- टेक्स्ट
- पाठ वर्गीकरण
- से
- धन्यवाद
- कि
- RSI
- जानकारी
- लेकिन हाल ही
- फिर
- वहाँ।
- इसलिये
- इन
- वे
- तीसरे दल
- इसका
- तीन
- यहाँ
- पहर
- सेवा मेरे
- एक साथ
- उपकरण
- ऊपर का
- परंपरागत
- रेलगाड़ी
- प्रशिक्षित
- प्रशिक्षण
- बदालना
- पारगमन
- पारदर्शी
- यात्रा का
- परीक्षण
- ट्यूटोरियल
- दो
- टाइप
- प्रकार
- हमें
- के अंतर्गत
- समझना
- अप्रत्याशित
- अविस्मरणीय
- विशिष्ट
- अद्यतन
- अपडेट
- अद्यतन
- ऊपर
- यूआरएल
- प्रयोग
- उपयोग
- उदाहरण
- प्रयुक्त
- उपयोगकर्ता
- का उपयोग करता है
- का उपयोग
- छुट्टी
- मूल्य
- मान
- विभिन्न
- Ve
- संस्करण
- के माध्यम से
- वास्तविक
- संस्करणों
- चलना
- मार्ग..
- तरीके
- we
- धन
- वेब
- वेब सेवाओं
- में आपका स्वागत है
- कुंआ
- थे
- कब
- कौन कौन से
- जब
- कौन
- किसका
- मर्जी
- साथ में
- अंदर
- काम
- वर्कफ़्लो
- काम कर रहे
- कार्य
- लिखना
- इसलिए आप
- आपका
- जेफिरनेट