क्लाउडफ्लेयर एआई को नेटवर्क बढ़त से मुक्त कर देता है

जेनरेटिव एआई मॉडल को जीपीयू के विशाल समूहों में प्रशिक्षित किया जा सकता है, लेकिन क्लाउडफ्लेयर का तर्क है कि उन्हें चलाने के लिए स्पष्ट स्थान सिर्फ किनारे पर नहीं बल्कि नेटवर्क में ही है।

बुधवार को डिलीवरी दिग्गज की घोषणा एआई सेवाओं के एक सूट का उद्देश्य बड़े-भाषा मॉडल (एलएलएम) और अन्य मशीन लर्निंग (एमएल) एल्गोरिदम को तैनात करने और चलाने की जटिलता को दूर करना है, साथ ही न्यूनतम संभव विलंबता भी प्राप्त करना है।

खैर, वास्तव में, उपयोगकर्ता के डिवाइस पर अनुमान कार्यभार चलाकर न्यूनतम संभव विलंबता प्राप्त की जाएगी। इंटेल ने इस बारे में बड़ी बात कही, दलाली इंटेल इनोवेशन में पिछले सप्ताह एआई पीसी पीढ़ी का उदय हुआ। लेकिन हालांकि यह कुछ मामलों में समझ में आ सकता है, क्लाउडफ्लेयर का तर्क है कि स्थानीय उपकरण अभी तक पर्याप्त शक्तिशाली नहीं हैं।

“यह नेटवर्क को अनुमान का गोल्डीलॉक्स बनाता है। बहुत दूर नहीं, पर्याप्त गणना शक्ति के साथ - बिल्कुल सही,'' बिज़ लिखता है।

GPU के लिए सर्वर रहित

एआई सुइट में तीन मुख्य सेवाएँ शामिल हैं। इनमें से पहला GPU त्वरित वर्कलोड का समर्थन करने के लिए इसके सर्वर रहित वर्कर्स प्लेटफ़ॉर्म का विस्तार है। डब्ड वर्कर्स एआई, सेवा को पूर्व-प्रशिक्षित मॉडलों को तैनात करने की प्रक्रिया को सुव्यवस्थित करने के लिए डिज़ाइन किया गया है।

“कोई मशीन सीखने की विशेषज्ञता नहीं, जीपीयू के लिए कोई खोजबीन नहीं। बस उपलब्ध कराए गए मॉडलों में से एक चुनें और जाएं,'' क्लाउडफ्लेयर का दावा है।

हमें बताया गया है कि प्लेटफ़ॉर्म एनवीडिया जीपीयू पर चलता है, हालांकि क्लाउडफ्लेयर हमें यह नहीं बताएगा कि कौन से हैं। "क्लाउडफ्लेयर ने जो तकनीक बनाई है, वह एक अनुमान कार्य को कई अलग-अलग जीपीयू में विभाजित कर सकती है, क्योंकि हम शेड्यूलिंग और सिस्टम का ध्यान रख रहे हैं, और हम तय करेंगे कि कौन सी चिप या चिप्स इसे वितरित करने के लिए सबसे अधिक उपयुक्त हैं," उसने बताया। रजिस्टर गवाही में।

सादगी के हित में, प्लेटफ़ॉर्म - कम से कम शुरुआत में नहीं - ग्राहक-प्रदत्त मॉडल का समर्थन नहीं करता है। हमें बताया गया है कि यह भविष्य में इसे कार्यात्मक रूप से शुरू करने की योजना बना रहा है, लेकिन, अभी, यह छह पूर्व-प्रशिक्षित मॉडल तक सीमित है, जिसमें शामिल हैं:

• टेक्स्ट-जनरेशन के लिए मेटा का लामा 2 7बी Int8
• अनुवाद के लिए मेटा का M2m100-1.2
• वाक् पहचान के लिए OpenAI का व्हिस्पर
• पाठ वर्गीकरण के लिए हगिंग फेस का डिस्टिलबर्ट-sst-2-int8
• छवि वर्गीकरण के लिए Microsoft का Resnet-50
• एम्बेडिंग के लिए बाई का bge-base-en-v1.5

हालाँकि, क्लाउडफ़ेयर का कहना है कि वह निकट भविष्य में इस सूची का विस्तार करने पर काम कर रहा है। कई एआई आशावानों की तरह, यह भी हुआ है मांगा सेवा के लिए अतिरिक्त मॉडलों को अनुकूलित करने के लिए हगिंग फेस की मदद।

यह स्पष्ट नहीं है कि प्लेटफ़ॉर्म द्वारा समर्थित मॉडलों के आकार की कोई सीमा है या नहीं, लेकिन प्रारंभिक सूची कुछ सुराग प्रदान करती है। क्लाउडफ्लेयर मेटा के सात अरब पैरामीटर लामा 2 एलएलएम को Int8 पर उपलब्ध करा रहा है, जिसके लिए लगभग 7GB GPU मेमोरी की आवश्यकता होगी। कंपनी यह भी नोट करती है कि "यदि आप मॉडलों के सौ-बिलियन पैरामीटर संस्करण चलाने की सोच रहे हैं, तो केंद्रीकृत क्लाउड आपके कार्यभार के लिए बेहतर अनुकूल होगा।"

एक बार चालू होने के बाद, क्लाउडफ्लेयर का कहना है कि ग्राहक REST API का उपयोग करके या इसे अपने पेज वेबसाइट फ्रंटएंड में जोड़कर सेवा को अपने एप्लिकेशन में एकीकृत कर सकते हैं।

सब एक साथ रखना

क्योंकि वर्कर्स एआई केवल पूर्व-प्रशिक्षित मॉडलों पर अनुमान लगाने का समर्थन करता है, क्लाउडफ्लेयर का कहना है कि उसने एमएल मॉडल के लिए ग्राहकों के डेटा को उपयोगकर्ताओं तक पहुंचाना आसान बनाने के लिए वेक्टराइज़ नामक एक वेक्टर डेटाबेस सेवा विकसित की है।

उदाहरण के लिए, एक चैटबॉट के लिए, एक ग्राहक अपने उत्पाद कैटलॉग को वेक्टर डेटाबेस पर अपलोड कर सकता है, जिससे मॉडल इसे एक एम्बेडेड संपत्ति में बदल देगा।

ऐसा प्रतीत होता है कि, जबकि क्लाउडफ्लेयर द्वारा पेश किए गए लामा 2 मॉडल में ग्राहक के डेटा का विशिष्ट ज्ञान नहीं हो सकता है, चैटबॉट अभी भी डेटाबेस सेवा से जुड़कर प्रासंगिक जानकारी पेश कर सकता है। Cloudflare के अनुसार, यह दृष्टिकोण बनाता है अधिक सुलभ, तेज़ और कम संसाधन गहन अनुमान लगाना क्योंकि यह ग्राहक डेटा को मॉडल से ही अलग कर देता है।

वर्कर्स एआई और वेक्टराइज़ के साथ-साथ, क्लाउडफ्लेयर के एआई सूट में बड़े पैमाने पर अनुमान कार्यभार की निगरानी, ​​अनुकूलन और प्रबंधन के लिए एक मंच भी शामिल है।

एआई गेटवे नामक यह सेवा ग्राहकों को लागत नियंत्रित करने में मदद करने के लिए एआई अनुमान लगाने के लिए आमतौर पर सामग्री वितरण नेटवर्क और वेब प्रॉक्सी जैसे कैशिंग और रेट लिमिटिंग से जुड़ी कई सुविधाएं लागू करती है।

कंपनी ब्लॉग पोस्ट में बताती है, "अक्सर उपयोग की जाने वाली एआई प्रतिक्रियाओं को कैशिंग करके, यह विलंबता को कम करता है और सिस्टम विश्वसनीयता को बढ़ाता है, जबकि दर सीमित करने से कुशल संसाधन आवंटन सुनिश्चित होता है, जिससे बढ़ती एआई लागत की चुनौतियां कम हो जाती हैं।"

मूल्य निर्धारण और उपलब्धता

क्लाउडफ्लेयर का कहना है कि सेवा अभी भी तैनाती के प्रारंभिक चरण में है, आज सात साइटें ऑनलाइन हैं। हालाँकि, कंपनी वर्ष के अंत तक सेवा को 100 बिंदुओं तक और 2024 के अंत तक "लगभग हर जगह" तक लाने के लिए जीपीयू तैनात कर रही है।

इसके परिणामस्वरूप, यह अभी तक वर्कर्स एआई पर उत्पादन ऐप्स को तैनात करने की अनुशंसा नहीं करता है, इसे "प्रारंभिक बीटा" के रूप में वर्णित करता है।

ब्लॉग पोस्ट में लिखा है, "आज हमने जो जारी किया है वह आपको यह बताने के लिए एक छोटा सा पूर्वावलोकन है कि क्या होने वाला है।"

हमेशा की तरह, क्लाउडफ़ेयर का कहना है कि वह पहले दिन सेवा के लिए बिलिंग नहीं करेगा। जैसा कि कहा गया है, यह प्रत्येक हजार "नियमित ट्विच न्यूरॉन्स" के लिए लगभग एक सेंट और प्रत्येक हजार "फास्ट ट्विच न्यूरॉन्स" के लिए $0.125 चार्ज करने की उम्मीद करता है। दोनों के बीच अंतर यह है कि बाद वाला अंतिम उपयोगकर्ता से निकटता को प्राथमिकता देता है, जबकि दोनों में से कम खर्चीला क्लाउडफ़ेयर के पास अतिरिक्त क्षमता होने पर भी चलता है।

कंपनी ने समझाया कि न्यूरॉन्स एआई आउटपुट को मापने का एक तरीका है, और कहा कि एक हजार न्यूरॉन्स लगभग 130 एलएलएम प्रतिक्रियाओं, 830 छवि वर्गीकरण, या 1,250 एम्बेडिंग® के लिए अच्छे हैं।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
• स्रोत: https://go.theregister.com/feed/www.theregister.com/2023/09/28/cloudflare_ai_edge/