डेटा के युग में आपका स्वागत है। प्रतिदिन कैप्चर किए गए डेटा की विशाल मात्रा लगातार बढ़ रही है, जिसके लिए प्लेटफ़ॉर्म और समाधान विकसित करने की आवश्यकता है। जैसी सेवाएँ अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3) एक स्केलेबल समाधान प्रदान करता है जो बढ़ते डेटासेट के लिए अनुकूलित होता है फिर भी लागत प्रभावी रहता है। अमेज़ॅन सस्टेनेबिलिटी डेटा इनिशिएटिव (एएसडीआई) आपको दुनिया भर में जलवायु विज्ञान कार्यभार को संग्रहीत करने और साझा करने के लिए एक निःशुल्क समाधान प्रदान करने के लिए अमेज़ॅन एस3 की क्षमताओं का उपयोग करता है। अमेज़ॅन का ओपन डेटा प्रायोजन कार्यक्रम संगठनों को AWS पर निःशुल्क होस्ट करने की अनुमति देता है।
पिछले दशक में, हमने डेटा विज्ञान ढांचे में वृद्धि देखी है, साथ ही डेटा विज्ञान समुदाय द्वारा बड़े पैमाने पर इसे अपनाया जा रहा है। ऐसा ही एक ढांचा है नकाब, जो वर्कर कंप्यूट नोड्स के ऑर्केस्ट्रेशन का प्रावधान करने की अपनी क्षमता के लिए शक्तिशाली है, जिससे बड़े डेटासेट पर जटिल विश्लेषण में तेजी आती है।
इस पोस्ट में, हम आपको दिखाते हैं कि कस्टम को कैसे तैनात किया जाए AWS क्लाउड डेवलपमेंट किट (एडब्ल्यूएस सीडीके) समाधान जो अमेज़ॅन के वैश्विक नेटवर्क पर अंतर-क्षेत्रीय रूप से काम करने के लिए डस्क की कार्यक्षमता का विस्तार करता है। AWS CDK समाधान दो AWS क्षेत्रों में Dashk कार्यकर्ताओं का एक नेटवर्क तैनात करता है, जो एक ग्राहक क्षेत्र से जुड़ता है। अधिक जानकारी के लिए देखें AWS पर क्रॉस रीजनल डस्क के साथ वितरित कंप्यूटिंग के लिए मार्गदर्शन और गीथहब रेपो ओपन-सोर्स कोड के लिए.
तैनाती के बाद, उपयोगकर्ता के पास ज्यूपिटर नोटबुक तक पहुंच होगी, जहां वे AWS पर ASDI के दो डेटासेट के साथ बातचीत कर सकते हैं: युग्मित मॉडल अंतरतुलना परियोजना 6 (सीएमआईपी6) और ECMWF ERA5 पुनर्विश्लेषण. सीएमआईपी6 वैश्विक युग्मित महासागर-वायुमंडल सामान्य परिसंचरण मॉडल समूह के छठे चरण पर केंद्रित है; ERA5 वैश्विक जलवायु के ECMWF वायुमंडलीय पुनर्विश्लेषण की पांचवीं पीढ़ी है, और परिचालन सेवा के रूप में निर्मित पहला पुनर्विश्लेषण है।
यह समाधान एक प्रमुख AWS ग्राहक के साथ काम से प्रेरित था ब्रिटेन के मौसम कार्यालय. मौसम कार्यालय की स्थापना 1854 में हुई थी और यह यूके के लिए राष्ट्रीय मौसम विज्ञान सेवा है। वे आपको सुरक्षित रहने और फलने-फूलने के लिए बेहतर निर्णय लेने में मदद करने के लिए मौसम और जलवायु पूर्वानुमान प्रदान करते हैं। मौसम कार्यालय और EUMETSAT के बीच सहयोग का विवरण इसमें दिया गया है डेटा केंद्रों के बीच वितरित डैस्क क्लस्टर पर डेटा निकटतम गणना, एक स्थायी, कुशल और स्केलेबल डेटा विज्ञान समाधान विकसित करने की बढ़ती आवश्यकता पर प्रकाश डालता है। यह समाधान गणना को डेटा के करीब लाकर प्राप्त करता है, बजाय डेटा को गणना संसाधनों के करीब लाने के लिए, जो लागत, विलंबता और ऊर्जा को जोड़ता है।
समाधान अवलोकन
प्रत्येक दिन, यूके मौसम कार्यालय 300 टीबी तक मौसम और जलवायु डेटा तैयार करता है, जिसका एक हिस्सा एएसडीआई को प्रकाशित किया जाता है। ये डेटासेट दुनिया भर में वितरित किए जाते हैं और सार्वजनिक उपयोग के लिए होस्ट किए जाते हैं। मौसम कार्यालय उपभोक्ताओं को जलवायु परिवर्तन से प्रेरित जंगल की आग और बाढ़ के लिए बेहतर तैयारी और बेहतर फसल उपज विश्लेषण के माध्यम से खाद्य असुरक्षा को कम करने जैसे मुद्दों के समाधान पर महत्वपूर्ण निर्णय लेने में मदद करने के लिए अपने डेटा का अधिक उपयोग करने में सक्षम बनाना चाहता है।
आज उपयोग में आने वाले पारंपरिक समाधान, विशेष रूप से जलवायु डेटा के साथ, समय लेने वाले और टिकाऊ नहीं हैं, विभिन्न क्षेत्रों में डेटासेट की नकल करना। पेटाबाइट पैमाने पर अनावश्यक डेटा स्थानांतरण महंगा, धीमा और ऊर्जा की खपत करता है।
हमारा अनुमान है कि यदि इस पद्धति को मौसम कार्यालय उपयोगकर्ताओं द्वारा अपनाया जाता है, तो हर दिन 40 घरों की दैनिक बिजली खपत के बराबर की बचत की जा सकती है, और वे क्षेत्रों के बीच डेटा के हस्तांतरण को भी कम कर सकते हैं।
निम्नलिखित चित्र समाधान वास्तुकला को दर्शाता है।
समाधान को तीन प्रमुख खंडों में विभाजित किया जा सकता है: ग्राहक, कर्मचारी और नेटवर्क। आइए प्रत्येक में गोता लगाएँ और देखें कि वे एक साथ कैसे आते हैं।
ग्राहक
क्लाइंट उस स्रोत क्षेत्र का प्रतिनिधित्व करता है जहां डेटा वैज्ञानिक जुड़ते हैं। इस क्षेत्र (आरेख में क्षेत्र ए) में एक शामिल है अमेज़न SageMaker नोटबुक, एक अमेज़न ओपन सर्च सर्विस डोमेन, और ए डस्क अनुसूचक प्रमुख घटकों के रूप में। सिस्टम प्रशासकों के पास एक के माध्यम से प्रदर्शित अंतर्निहित डस्क डैशबोर्ड तक पहुंच होती है इलास्टिक लोड बैलेंसर.
डेटा वैज्ञानिकों के पास सेजमेकर पर होस्ट किए गए ज्यूपिटर नोटबुक तक पहुंच है। नोटबुक डैस्क शेड्यूलर पर वर्कलोड को कनेक्ट करने और चलाने में सक्षम है। ओपनसर्च सेवा डोमेन क्षेत्रों से जुड़े डेटासेट पर मेटाडेटा संग्रहीत करता है। नोटबुक उपयोगकर्ता डेटा के क्षेत्रीय स्थान को पहले से जानने की आवश्यकता के बिना डैस्क श्रमिकों के सही क्षेत्र जैसे विवरण प्राप्त करने के लिए इस सेवा से पूछताछ कर सकते हैं।
कामगार
प्रत्येक कार्यकर्ता क्षेत्र (आरेख में क्षेत्र बी और सी) एक से मिलकर बना है अमेज़ॅन इलास्टिक कंटेनर सेवा (अमेज़ॅन ईसीएस) का क्लस्टर डस्क कार्यकर्ता, एक चमक के लिए अमेज़न FSx फ़ाइल सिस्टम, और एक स्टैंडअलोन अमेज़ॅन इलास्टिक कम्प्यूट क्लाउड (अमेज़ॅन EC2) उदाहरण। लस्टर के लिए एफएसएक्स डैस्क कर्मियों को आपके फ़ाइल सिस्टम को एस3 बकेट से जोड़कर उच्च-प्रदर्शन फ़ाइल सिस्टम से अमेज़ॅन एस3 डेटा तक पहुंचने और संसाधित करने की अनुमति देता है। यह उप-मिलीसेकंड विलंबता, सैकड़ों जीबी/एस थ्रूपुट और लाखों आईओपीएस तक प्रदान करता है। लस्टर की एक प्रमुख विशेषता यह है कि केवल फ़ाइल सिस्टम का मेटाडेटा समन्वयित होता है। लस्टर मांग के आधार पर फाइलों को लोड करने और गर्म रखने के संतुलन का प्रबंधन करता है।
सीपीयू उपयोग के आधार पर श्रमिक समूहों का पैमाना, मांग की विस्तारित अवधि में अतिरिक्त श्रमिकों का प्रावधान, और संसाधनों के निष्क्रिय हो जाने पर स्केल कम हो जाता है।
प्रत्येक रात 0:00 यूटीसी पर, एक डेटा सिंक कार्य लस्टर फ़ाइल सिस्टम को संलग्न एस3 बकेट के साथ पुन: सिंक करने के लिए प्रेरित करता है, और बकेट का एक अप-टू-डेट मेटाडेटा कैटलॉग खींचता है। इसके बाद, स्टैंडअलोन EC2 इंस्टेंस इन अद्यतनों को उस क्षेत्र के सूचकांक से संबंधित ओपनसर्च सेवा में धकेल देता है। ओपनसर्च सेवा क्लाइंट को आवश्यक जानकारी प्रदान करती है कि किसी विशेष डेटासेट के लिए श्रमिकों के किस समूह को बुलाया जाना चाहिए।
नेटवर्क
अमेज़ॅन के आंतरिक बैकबोन नेटवर्क का उपयोग करते हुए नेटवर्किंग इस समाधान का मूल है। का उपयोग करके एडब्ल्यूएस ट्रांजिट गेटवे, हम सार्वजनिक इंटरनेट का उपयोग किए बिना प्रत्येक क्षेत्र को एक-दूसरे से जोड़ने में सक्षम हैं। प्रत्येक कार्यकर्ता डस्क शेड्यूलर में गतिशील रूप से जुड़ने में सक्षम है, जिससे डेटा वैज्ञानिकों को डस्क के माध्यम से अंतर-क्षेत्रीय क्वेरी चलाने की अनुमति मिलती है।
.. पूर्वापेक्षाएँ
AWS CDK पैकेज टाइपस्क्रिप्ट प्रोग्रामिंग भाषा का उपयोग करता है। इसमें दिए गए चरणों का पालन करें AWS CDK के लिए प्रारंभ करना अपना स्थानीय परिवेश स्थापित करने और अपने विकास खाते को बूटस्ट्रैप करने के लिए (आपको इसमें निर्दिष्ट सभी क्षेत्रों को बूटस्ट्रैप करने की आवश्यकता होगी) गीथहब रेपो).
सफल परिनियोजन के लिए, आपको आवश्यकता होगी डॉकर स्थापित और आपकी स्थानीय मशीन पर चल रहा है।
AWS CDK पैकेज परिनियोजित करें
AWS CDK पैकेज को तैनात करना सीधा है। आवश्यक शर्तें स्थापित करने और अपना खाता बूटस्ट्रैप करने के बाद, आप कोड आधार डाउनलोड करने के लिए आगे बढ़ सकते हैं।
- डाउनलोड गिटहब भंडार:
- नोड मॉड्यूल स्थापित करें:
- AWS CDK परिनियोजित करें:
स्टैक को तैनात होने में डेढ़ घंटे से अधिक का समय लग सकता है।
कोड वॉकथ्रू
इस अनुभाग में, हम कोड आधार की कुछ प्रमुख विशेषताओं का निरीक्षण करते हैं। यदि आप पूर्ण कोड आधार का निरीक्षण करना चाहते हैं, तो देखें गिटहब भंडार.
अपने स्टैक को कॉन्फ़िगर और कस्टमाइज़ करें
फ़ाइल में बिन/चर.ts, आपको दो परिवर्तनीय घोषणाएँ मिलेंगी: एक ग्राहक के लिए और एक श्रमिकों के लिए। क्लाइंट घोषणा क्षेत्र और सीआईडीआर रेंज के संदर्भ में एक शब्दकोश है। इन वेरिएबल्स को कस्टमाइज़ करने से उस क्षेत्र और सीआईडीआर रेंज दोनों में बदलाव आएगा जहां क्लाइंट संसाधन तैनात किए जाएंगे।
वर्कर वैरिएबल इसी कार्यक्षमता की प्रतिलिपि बनाता है; हालाँकि, यह शब्दकोशों की एक सूची है जिसमें उपयोगकर्ता जिन डेटासेट को शामिल करना चाहता है उन्हें जोड़ना या घटाना शामिल है। इसके अतिरिक्त, प्रत्येक शब्दकोश में अतिरिक्त फ़ील्ड शामिल हैं dataset
और lustreFileSystemPath
. लस्टर से कनेक्ट करने के लिए कनेक्टिंग S3 URI को निर्दिष्ट करने के लिए डेटासेट का उपयोग किया जाता है। lustreFileSystemPath
वैरिएबल का उपयोग मैपिंग के रूप में किया जाता है कि उपयोगकर्ता उस डेटासेट को वर्कर फ़ाइल सिस्टम पर स्थानीय रूप से कैसे मैप करना चाहता है। निम्नलिखित कोड देखें:
शेड्यूलर आईपी को गतिशील रूप से प्रकाशित करें
इस परियोजना की अंतर-क्षेत्रीय प्रकृति में निहित एक चुनौती डस्क कार्यकर्ताओं और अनुसूचक के बीच एक गतिशील संबंध बनाए रखना था। हम एक आईपी पता कैसे प्रकाशित कर सकते हैं, जो एडब्ल्यूएस क्षेत्रों में बदलने में सक्षम है? के प्रयोग से हम इसे पूरा करने में सफल रहे एडब्ल्यूएस क्लाउड मैप और एसोसिएट-वीपीसी-विथ-होस्टेड-ज़ोन. सेवा सार AWS को इस DNS नेमस्पेस को निजी तौर पर प्रबंधित करने की अनुमति देता है। निम्नलिखित कोड देखें:
ज्यूपिटर नोटबुक यूआई
सेजमेकर पर होस्ट किया गया ज्यूपिटर नोटबुक वैज्ञानिकों को लोड किए गए डेटासेट पर आसानी से जुड़ने और प्रयोग करने के लिए तैनाती के लिए तैयार वातावरण प्रदान करता है। हमने एक का प्रयोग किया जीवनचक्र विन्यास लिपि नोटबुक को पूर्व-कॉन्फ़िगर किए गए डेवलपर वातावरण और उदाहरण कोड आधार के साथ प्रावधान करने के लिए। निम्नलिखित कोड देखें:
डस्क कार्यकर्ता नोड्स
जब डैस्क कार्यकर्ताओं की बात आती है, तो अधिक अनुकूलनशीलता प्रदान की जाती है, विशेष रूप से इंस्टेंस प्रकार, प्रति कंटेनर थ्रेड और स्केलिंग अलार्म पर। डिफ़ॉल्ट रूप से, उदाहरण प्रकार m5d.4xlarge पर वर्कर्स प्रावधान, लॉन्च पर लस्टर फ़ाइल सिस्टम पर माउंट होता है, और अपने वर्कर्स और थ्रेड्स को गतिशील रूप से पोर्ट पर उप-विभाजित करता है। यह सब वैकल्पिक रूप से अनुकूलन योग्य है। निम्नलिखित कोड देखें:
प्रदर्शन
प्रदर्शन का आकलन करने के लिए, हम एक महीने के लिए सीएमआईपी2 पूर्वानुमान और 6 वर्षों के लिए ईआरए5 औसत हवा के तापमान के बीच अंतर के आधार पर 10 मीटर पर हवा के तापमान की नमूना गणना और प्लॉटिंग का उपयोग करते हैं। हमने प्रत्येक क्षेत्र में दो श्रमिकों का एक बेंचमार्क निर्धारित किया है और अतिरिक्त श्रमिकों को जोड़ने के कारण समय में कमी के अंतर का आकलन किया है। सिद्धांत रूप में, समाधान के पैमाने के अनुसार, समग्र समय को कम करने में उत्पादक सामग्री अंतर होना चाहिए।
निम्न तालिका हमारे डेटासेट विवरण का सारांश प्रस्तुत करती है।
डेटासेट | चर | डिस्क का आकार | एक्सरे डेटासेट का आकार | क्षेत्र |
युग5 | 2011-2020 (120 नेटसीडीएफ फ़ाइलें) | 53.5GB | 364.1 जीबी | हमें पूर्व-1 |
CMIP6 | 1.13GB | 0.11 जीबी | हमें-पश्चिम -2 |
निम्न तालिका सीएमआईपी6 भविष्यवाणी, ईआरए5 और अंतर की गणना में तीन चरणों में प्रत्येक गणना और भविष्यवाणी के लिए समय (सेकंड में) दिखाते हुए एकत्रित परिणाम दिखाती है।
. | . | श्रमिकों की संख्या | |||
गणना करना | क्षेत्र | 2(सीएमआईपी) + 2(ईआरए) | 2(सीएमआईपी) + 4(ईआरए) | 2(सीएमआईपी) + 8(ईआरए) |
2(सीएमआईपी) + 12(युग) |
सीएमआईपी6 (predicted_tas_regridded ) |
हमें-पश्चिम -2 | 11.8 | 11.5 | 11.2 | 11.6 |
ERA5 (historic_temp_regridded ) |
हमें पूर्व-1 | 1512 | 711 | 427 | 202 |
अंतर (propogated pool ) |
हमें-पश्चिम-2 और हमें-पूर्व-1 | 1527 | 906 | 469 | 251 |
निम्नलिखित ग्राफ़ प्रदर्शन और पैमाने को दर्शाता है।
हमारे प्रयोग से, जैसे-जैसे श्रमिकों की संख्या में वृद्धि हुई, हमने ERA5 डेटासेट के लिए गणना में एक रैखिक सुधार देखा। जैसे-जैसे श्रमिकों की संख्या बढ़ती गई, गणना का समय कई बार आधा हो गया।
ज्यूपिटर नोटबुक
समाधान लॉन्च के हिस्से के रूप में, हम क्रॉस-रीजनल डस्क समाधान का परीक्षण करने में सहायता के लिए एक पूर्व-कॉन्फ़िगर ज्यूपिटर नोटबुक तैनात करते हैं। नोटबुक पृष्ठभूमि में चल रहे ज्यूपिटर नोटबुक की एक श्रृंखला के माध्यम से कैटलॉग को क्वेरी करने के बजाय, डेटासेट के क्षेत्रीय स्थान को जानने की आवश्यकता की दूर की गई चिंता को प्रदर्शित करता है।
आरंभ करने के लिए, इस अनुभाग में दिए गए निर्देशों का पालन करें।
नोटबुक्स के लिए कोड यहां पाया जा सकता है lib/SagemakerCode
प्राथमिक नोटबुक के साथ ux_notebook.ipynb
. यह नोटबुक अन्य नोटबुक्स को कॉल करती है, सहायक स्क्रिप्ट को ट्रिगर करती है। ux_notebook
कहीं और जाने की आवश्यकता के बिना, वैज्ञानिकों के लिए प्रवेश बिंदु बनने के लिए डिज़ाइन किया गया है।
आरंभ करने के लिए, AWS CDK तैनात करने के बाद इस नोटबुक को SageMaker में खोलें। एडब्ल्यूएस सीडीके रिपॉजिटरी में सभी फाइलों को लोड और बैकअप के साथ एक नोटबुक इंस्टेंस बनाता है AWS कोडकॉमिट भंडार।
एप्लिकेशन को चलाने के लिए, पहले सेल को खोलें और चलाएं ux_notebook
. यह सेल चलाता है get_variables
पृष्ठभूमि में नोटबुक, जो आपको उस डेटा के लिए इनपुट के लिए संकेत देता है जिसे आप चुनना चाहते हैं। हम एक उदाहरण शामिल करते हैं; हालाँकि, ध्यान दें कि प्रश्न केवल पिछले विकल्प के चयन के बाद ही दिखाई देंगे। यह जानबूझकर ड्रॉप-डाउन विकल्पों को सीमित करने के लिए है और इसे संपादित करके वैकल्पिक रूप से कॉन्फ़िगर किया जा सकता है get_variables
स्मरण पुस्तक।
पिछला कोड वैरिएबल को विश्व स्तर पर संग्रहीत करता है ताकि अन्य नोटबुक आपके विकल्पों के चयन को पुनः प्राप्त और लोड कर सकें। प्रदर्शन के लिए, अगले सेल को पहले से सेव वेरिएबल्स को आउटपुट करना चाहिए।
इसके बाद, आगे की डेटा विशिष्टताओं के लिए एक संकेत दिखाई देता है। यह सेल मानव-पठनीय प्रारूप में तालिकाओं की आईडी प्रस्तुत करके आपके द्वारा खोजे जा रहे डेटा को परिष्कृत करता है। उपयोगकर्ता ऐसे चयन करते हैं जैसे कि यह एक फॉर्म हो, लेकिन शीर्षक पृष्ठभूमि में तालिकाओं पर मैप होते हैं जो सिस्टम को उचित डेटासेट पुनर्प्राप्त करने में मदद करते हैं।
अपने सभी विकल्पों और चयन कक्षों को संग्रहीत करने के बाद, कक्ष को चलाकर डेटा को क्षेत्रों में लोड करें डेटा प्राप्त करना सेट अनुभाग। %%capture कमांड अनावश्यक आउटपुट को दबा देगा get_data
स्मरण पुस्तक। ध्यान दें कि आप अन्य नोटबुक से आउटपुट का निरीक्षण करने के लिए इसे हटा सकते हैं। फिर डेटा को बैकएंड में पुनर्प्राप्त किया जाता है।
जबकि अन्य नोटबुक पृष्ठभूमि में चल रही हैं, उपयोगकर्ता के लिए एकमात्र टचप्वाइंट है ux_notebook
. इसका उद्देश्य डेटा को ऐसे प्रारूप में आयात करने की कठिन प्रक्रिया को समाप्त करना है जिसे कोई भी उपयोगकर्ता आसानी से पालन कर सके।
अब डेटा लोड होने के बाद, हम उसके साथ इंटरैक्ट करना शुरू कर सकते हैं। निम्नलिखित सेल गणनाओं के उदाहरण हैं जिन्हें आप मौसम डेटा पर चला सकते हैं। का उपयोग करते हुए xarrays, हम उन डेटासेट को आयात करते हैं, गणना करते हैं और फिर प्लॉट करते हैं।
हमारा नमूना डेटा पुनर्प्राप्त करने, गणना चलाने और 7.5 सेकंड से कम समय में परिणामों को प्लॉट करने के पूर्वानुमानित डेटा के एक प्लॉट को दर्शाता है - एक सामान्य दृष्टिकोण की तुलना में तीव्रता का क्रम।
हुड के नीचे
नोटबुक get_catalog_input
और get_variables
पुस्तकालय का उपयोग करें ipywidgets ड्रॉप-डाउन और मल्टी-बॉक्स चयन जैसे विजेट प्रदर्शित करने के लिए। इन विकल्पों को %%store कमांड का उपयोग करके विश्व स्तर पर सहेजा जाता है ताकि उन तक पहुंचा जा सके ux_notebook
. विकल्पों में से एक आपको बताता है कि क्या आप ऐतिहासिक डेटा, पूर्वानुमानित डेटा या दोनों चाहते हैं। इस वेरिएबल को पास कर दिया गया है get_data
नोटबुक यह निर्धारित करने के लिए कि कौन सी अगली नोटबुक चलानी है।
RSI get_data
नोटबुक सबसे पहले साझा किए गए ओपनसर्च सेवा डोमेन को पुनः प्राप्त करता है एडब्ल्यूएस सिस्टम मैनेजर पैरामीटर स्टोर. यह डोमेन हमारी नोटबुक को जानकारी एकत्र करने पर एक क्वेरी चलाने की अनुमति देता है जो इंगित करेगा कि चयनित डेटासेट क्षेत्रीय रूप से कहाँ संग्रहीत हैं। क्षेत्रीय रूप से स्थित उन डेटासेट के साथ, नोटबुक ओपनसर्च सेवा से एकत्रित जानकारी को पास करते हुए, डस्क शेड्यूलर से कनेक्शन का प्रयास करेगा। बदले में डस्क शेड्यूलर सही क्षेत्रों में श्रमिकों को कॉल करने में सक्षम होगा।
कैसे अनुकूलित करें और विकास जारी रखें
ये नोटबुक इस बात का उदाहरण हैं कि आप उपयोगकर्ताओं के लिए डेटा के साथ इंटरफ़ेस और इंटरैक्ट करने का तरीका कैसे बना सकते हैं। इस पोस्ट में नोटबुक एक उदाहरण के रूप में कार्य करता है कि क्या संभव है, और हम आपको उपयोगकर्ता जुड़ाव को और बेहतर बनाने के लिए समाधान पर निर्माण जारी रखने के लिए आमंत्रित करते हैं। इस समाधान का मुख्य हिस्सा बैकएंड तकनीक है, लेकिन उस बैकएंड के साथ बातचीत करने के लिए कुछ तंत्र के बिना, उपयोगकर्ताओं को समाधान की पूरी क्षमता का एहसास नहीं होगा।
भविष्य में शुल्क लगने से बचने के लिए संसाधनों को हटा दें। आइए निम्नलिखित आदेश के साथ हमारे तैनात समाधान को नष्ट करें:
निष्कर्ष
यह पोस्ट AWS पर अंतर-क्षेत्रीय रूप से Dashk के विस्तार और AWS पर सार्वजनिक डेटासेट के साथ संभावित एकीकरण को प्रदर्शित करती है। समाधान एक सामान्य पैटर्न के रूप में बनाया गया था, और जटिल डेटा पर उच्च I/O विश्लेषण में तेजी लाने के लिए आगे के डेटासेट लोड किए जा सकते हैं।
डेटा हर क्षेत्र और हर व्यवसाय को बदल रहा है। हालाँकि, अधिकांश कंपनियों की तुलना में डेटा तेजी से बढ़ रहा है, डेटा एकत्र करना और उस डेटा से मूल्य प्राप्त करना चुनौतीपूर्ण है। एक आधुनिक डेटा रणनीति आपको डेटा के साथ बेहतर व्यावसायिक परिणाम बनाने में मदद कर सकती है। AWS आपके डेटा से मूल्य को अनलॉक करने और इसे अंतर्दृष्टि में बदलने में मदद करने के लिए एंड-टू-एंड डेटा यात्रा के लिए सेवाओं का सबसे संपूर्ण सेट प्रदान करता है।
क्लाउड पर अपने डेटा का उपयोग करने के विभिन्न तरीकों के बारे में अधिक जानने के लिए, पर जाएँ एडब्ल्यूएस बिग डेटा ब्लॉग. हम आपको इस पोस्ट पर अपने विचारों के साथ टिप्पणी करने के लिए आमंत्रित करते हैं, और क्या यह एक समाधान है जिसे आप आज़माने की योजना बना रहे हैं।
लेखक के बारे में
पैट्रिक ओ'कॉनर लंदन में स्थित WWSO प्रोटोटाइपिंग इंजीनियर हैं। वह एक रचनात्मक समस्या-समाधानकर्ता है, जो आईओटी, सर्वर रहित तकनीक, 3डी स्थानिक तकनीक और एमएल/एआई जैसी प्रौद्योगिकियों की एक विस्तृत श्रृंखला में अनुकूलनीय है, साथ ही इस बात पर निरंतर जिज्ञासा रखता है कि प्रौद्योगिकी रोजमर्रा के दृष्टिकोण को कैसे विकसित करना जारी रख सकती है।
चक्र नागराजन मशीन लर्निंग, बिग डेटा और उच्च-प्रदर्शन कंप्यूटिंग में 21 वर्षों के अनुभव के साथ एक प्रिंसिपल मशीन लर्निंग प्रोटोटाइप एसए है। अपनी वर्तमान भूमिका में, वह क्लाउड और एज डिवाइसों में एंड-टू-एंड एआई/एमएल समाधानों के साथ प्रोटोटाइप बनाकर ग्राहकों को वास्तविक दुनिया की जटिल व्यावसायिक समस्याओं को हल करने में मदद करता है। उनकी एमएल विशेषज्ञता में कंप्यूटर विज़न, प्राकृतिक भाषा प्रसंस्करण, समय श्रृंखला पूर्वानुमान और निजीकरण शामिल हैं।
वैल कोहेन लंदन में स्थित एक वरिष्ठ WWSO प्रोटोटाइपिंग इंजीनियर हैं। स्वभाव से एक समस्या समाधानकर्ता, वैल को प्रक्रियाओं को स्वचालित करने, ग्राहक-केंद्रित उपकरण बनाने और अपने वैश्विक ग्राहक आधार के लिए विभिन्न अनुप्रयोगों के लिए बुनियादी ढांचे का निर्माण करने के लिए कोड लिखने में आनंद आता है। वैल के पास विभिन्न प्रकार की तकनीकों का अनुभव है, जैसे फ्रंट-एंड वेब डेवलपमेंट, बैकएंड वर्क और एआई/एमएल।
नियाल रॉबिन्सन यूके मौसम कार्यालय में उत्पाद वायदा के प्रमुख हैं। वह और उनकी टीम नए तरीकों का पता लगाती है जिससे मौसम कार्यालय उत्पाद नवाचार और रणनीतिक साझेदारी के माध्यम से मूल्य प्रदान कर सकता है। उनका करियर विविध रहा है, उन्होंने बहु-विषयक सूचना विज्ञान अनुसंधान एवं विकास टीम का नेतृत्व किया, डेटा विज्ञान में अकादमिक अनुसंधान किया, और जलवायु मॉडलर विशेषज्ञता के साथ-साथ क्षेत्र वैज्ञानिक भी रहे।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोआईस्ट्रीम। Web3 डेटा इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- मिंटिंग द फ्यूचर डब्ल्यू एड्रिएन एशले। यहां पहुंचें।
- PREIPO® के साथ PRE-IPO कंपनियों में शेयर खरीदें और बेचें। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/big-data/build-efficient-cross-regional-i-o-intensive-workloads-with-dask-on-aws/
- :हैस
- :है
- :कहाँ
- $यूपी
- 1
- 10
- 100
- 11
- 12
- 20
- 24
- 3d
- 40
- 50
- 7
- 9
- a
- क्षमता
- योग्य
- About
- ऊपर
- अमूर्त
- एब्सट्रैक्ट
- शैक्षिक
- शैक्षिक अनुसंधान
- में तेजी लाने के
- तेज
- पहुँच
- पहुँचा
- समायोजित
- पूरा
- लेखा
- प्राप्त
- के पार
- अनुकूलन
- जोड़ा
- जोड़ने
- अतिरिक्त
- इसके अतिरिक्त
- पता
- को संबोधित
- जोड़ता है
- प्रशासकों
- दत्तक
- दत्तक ग्रहण
- बाद
- ऐ / एमएल
- आकाशवाणी
- सब
- की अनुमति दे
- की अनुमति देता है
- साथ में
- भी
- वीरांगना
- अमेज़ॅन EC2
- an
- विश्लेषण
- और
- कोई
- दिखाई देते हैं
- आवेदन
- अनुप्रयोगों
- दृष्टिकोण
- दृष्टिकोण
- उपयुक्त
- स्थापत्य
- हैं
- AS
- At
- वातावरण
- वायुमंडलीय
- को स्वचालित रूप से
- से बचने
- एडब्ल्यूएस
- एडब्ल्यूएस ग्राहक
- आधार
- अस्तरवाला
- बैकएण्ड
- पृष्ठभूमि
- शेष
- आधार
- आधारित
- BE
- बन
- किया गया
- से पहले
- जा रहा है
- नीचे
- बेंचमार्क
- बेहतर
- के बीच
- बड़ा
- बड़ा डेटा
- जूते का फीता
- के छात्रों
- लाना
- टूटा
- निर्माण
- इमारत
- बनाया गया
- में निर्मित
- व्यापार
- लेकिन
- by
- गणना
- कॉल
- बुलाया
- बुला
- कॉल
- कर सकते हैं
- क्षमताओं
- सक्षम
- कैरियर
- सूची
- CD
- कोशिकाओं
- चुनौती
- चुनौतीपूर्ण
- परिवर्तन
- बदलना
- प्रभार
- प्रभार
- विकल्प
- परिसंचरण
- ग्राहक
- जलवायु
- करीब
- बादल
- समूह
- CO
- कोड
- कोड आधार
- सहयोग
- एकत्रित
- कैसे
- आता है
- अ रहे है
- टिप्पणी
- समुदाय
- कंपनियों
- पूरा
- जटिल
- घटकों
- शामिल
- गणना
- गणना करना
- कंप्यूटर
- Computer Vision
- कंप्यूटिंग
- विन्यास
- जुडिये
- जुड़ा हुआ
- कनेक्ट कर रहा है
- संबंध
- उपभोक्ताओं
- खपत
- कंटेनर
- शामिल हैं
- जारी रखने के
- जारी
- प्रतियां
- मूल
- सही
- लागत
- प्रभावी लागत
- सका
- युग्मित
- सी पी यू
- बनाना
- बनाता है
- क्रिएटिव
- महत्वपूर्ण
- फ़सल
- क्रॉस
- जिज्ञासा
- वर्तमान
- रिवाज
- ग्राहक
- ग्राहक
- अनुकूलन
- अनुकूलित
- दैनिक
- डैशबोर्ड
- तिथि
- डेटा विज्ञान
- डेटा रणनीति
- डेटासेट
- दिन
- दशक
- निर्णय
- चूक
- मांग
- दर्शाता
- तैनात
- तैनात
- तैनाती
- तैनात
- बनाया गया
- को नष्ट
- विस्तृत
- विवरण
- निर्धारित करना
- विकसित करना
- डेवलपर
- विकास
- डिवाइस
- अंतर
- विकलांग
- खोज
- डिस्प्ले
- वितरित
- वितरित अभिकलन
- DNS
- डाक में काम करनेवाला मज़दूर
- डोमेन
- नीचे
- गतिशील
- गतिशील
- से प्रत्येक
- आराम
- आसानी
- Edge
- संपादन
- कुशल
- अन्यत्र
- सक्षम
- शुरू से अंत तक
- ऊर्जा
- सगाई
- इंजीनियर
- प्रविष्टि
- वातावरण
- बराबर
- युग
- अनुमानित
- ईथर (ईटीएच)
- प्रत्येक
- प्रतिदिन
- हर रोज़
- विकसित करना
- उदाहरण
- उदाहरण
- अनुभव
- प्रयोग
- विशेषज्ञता
- का पता लगाने
- निर्यात
- उजागर
- विस्तार
- और तेज
- Feature
- विशेषताएं
- खेत
- फ़ील्ड
- पट्टिका
- फ़ाइलें
- खोज
- प्रथम
- केंद्रित
- का पालन करें
- निम्नलिखित
- भोजन
- के लिए
- प्रपत्र
- प्रारूप
- रूपों
- पाया
- स्थापित
- ढांचा
- चौखटे
- मुक्त
- से
- स्वाद
- पूर्ण
- कार्यक्षमता
- आगे
- भविष्य
- भावी सौदे
- सामान्य जानकारी
- पीढ़ी
- मिल
- मिल रहा
- जाना
- वैश्विक
- वैश्विक नेटवर्क
- ग्लोबली
- ग्लोब
- जा
- ग्राफ
- अधिक से अधिक
- ग्रिड
- आगे बढ़ें
- बढ़ रहा है
- था
- आधा
- आधी
- है
- he
- सिर
- मदद
- मदद करता है
- उसे
- हाई
- उच्च प्रदर्शन
- हाइलाइट
- उसके
- ऐतिहासिक
- मेजबान
- मेजबानी
- घंटा
- कैसे
- How To
- तथापि
- एचटीएमएल
- HTTPS
- मानव पठनीय
- सैकड़ों
- निष्क्रिय
- आईडी
- if
- दिखाता है
- आयात
- का आयात
- में सुधार
- सुधार
- in
- शामिल
- शामिल
- वृद्धि हुई
- अनुक्रमणिका
- संकेत मिलता है
- सूचित करना
- करें-
- इंफ्रास्ट्रक्चर
- निहित
- नवोन्मेष
- निवेश
- असुरक्षा
- अन्तर्दृष्टि
- प्रेरित
- स्थापित
- उदाहरण
- बजाय
- निर्देश
- एकीकरण
- जान-बूझकर
- बातचीत
- बातचीत
- इंटरफेस
- आंतरिक
- इंटरनेट
- में
- आमंत्रित करना
- IOT
- IP
- आईपी एड्रेस
- मुद्दों
- IT
- आईटी इस
- काम
- यात्रा
- जेपीजी
- जुपीटर नोटबुक
- रखना
- कुंजी
- जानना
- भाषा
- बड़ा
- पिछली बार
- विलंब
- लांच
- प्रमुख
- जानें
- सीख रहा हूँ
- पुस्तकालय
- जीवन चक्र
- पसंद
- लिंक्डइन
- जोड़ने
- सूची
- भार
- स्थानीय
- स्थानीय स्तर पर
- स्थित
- स्थान
- लंडन
- मशीन
- यंत्र अधिगम
- प्रमुख
- बनाना
- प्रबंधन
- प्रबंधक
- प्रबंधन करता है
- नक्शा
- मानचित्रण
- सामूहिक
- मास दत्तक ग्रहण
- सामग्री
- मई..
- मतलब
- तंत्र
- मेटाडाटा
- लाखों
- ML
- आदर्श
- आधुनिक
- मॉड्यूल
- महीना
- मासिक
- मासिक डेटा
- अधिक
- अधिकांश
- माउंट
- बहु-विषयक
- नाम
- राष्ट्रीय
- प्राकृतिक
- प्राकृतिक भाषा
- प्राकृतिक भाषा संसाधन
- प्रकृति
- आवश्यक
- आवश्यकता
- ज़रूरत
- नेटवर्क
- नया
- अगला
- रात
- नोड
- नोड्स
- नोटबुक
- पुस्तिकाओं
- अभी
- संख्या
- संख्या
- of
- प्रस्ताव
- Office
- on
- ONE
- केवल
- खुला
- मुक्त डेटा
- खुला स्रोत
- ओपन-सोर्स कोड
- परिचालन
- विकल्प
- ऑप्शंस
- or
- आर्केस्ट्रा
- संगठनों
- अन्य
- हमारी
- आउट
- परिणामों
- उत्पादन
- के ऊपर
- कुल
- पैकेज
- प्राचल
- भाग
- विशेष
- विशेष रूप से
- भागीदारी
- पारित कर दिया
- पासिंग
- पैटर्न
- प्रदर्शन
- अवधि
- निजीकरण
- पेटाबेटी
- चरण
- योजना
- प्लेटफार्म
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- बिन्दु
- पूल
- बंदरगाहों
- संभव
- पद
- संभावित
- बिजली
- शक्तिशाली
- अभ्यास
- भविष्यवाणी
- भविष्यवाणियों
- आवश्यक शर्तें
- पिछला
- प्राथमिक
- प्रिंसिपल
- निजी
- मुसीबत
- समस्याओं
- प्रक्रिया
- प्रक्रियाओं
- प्रसंस्करण
- प्रस्तुत
- एस्ट्रो मॉल
- उत्पाद की नवरचनात्मकता
- उत्पादक
- कार्यक्रम
- प्रोग्रामिंग
- परियोजना
- प्रोटोटाइप
- प्रोटोटाइप
- प्रदान करना
- बशर्ते
- प्रदान करता है
- प्रावधान
- सार्वजनिक
- प्रकाशित करना
- प्रकाशित
- खींचती
- प्रश्नों
- प्रशन
- अनुसंधान और विकास
- रेंज
- बल्कि
- रेडीमेड
- असली दुनिया
- महसूस करना
- को कम करने
- को कम करने
- कमी
- क्षेत्र
- क्षेत्रीय
- क्षेत्रों
- दयाहीन
- बाकी है
- हटाना
- हटाया
- कोष
- का प्रतिनिधित्व करता है
- अनुसंधान
- उपयुक्त संसाधन चुनें
- कि
- परिणाम
- भूमिका
- रन
- दौड़ना
- SA
- सुरक्षित
- sagemaker
- वही
- सहेजें
- स्केलेबल
- स्केल
- तराजू
- स्केलिंग
- विज्ञान
- वैज्ञानिक
- वैज्ञानिकों
- लिपियों
- सेकंड
- अनुभाग
- देखना
- देखा
- खंड
- चयनित
- चयन
- वरिष्ठ
- कई
- serverless
- कार्य करता है
- सेवा
- सेवाएँ
- सेट
- Share
- साझा
- चाहिए
- दिखाना
- को दिखाने
- दिखाता है
- सरल
- केवल
- छठा
- धीमा
- So
- समाधान
- समाधान ढूंढे
- हल
- कुछ
- स्रोत
- स्थानिक
- विशेष रूप से
- विनिर्देशों
- विनिर्दिष्ट
- प्रायोजन
- धुआँरा
- चरणों
- स्टैंडअलोन
- प्रारंभ
- शुरू
- रहना
- कदम
- भंडारण
- की दुकान
- संग्रहित
- भंडार
- सरल
- सामरिक
- सामरिक भागीदारी
- स्ट्रेटेजी
- आगामी
- इसके बाद
- सफल
- ऐसा
- सतह
- रेला
- स्थिरता
- स्थायी
- प्रणाली
- सिस्टम
- तालिका
- लेना
- टीम
- तकनीक
- टेक्नोलॉजीज
- टेक्नोलॉजी
- परीक्षण
- से
- कि
- RSI
- जानकारी
- स्रोत
- यूके
- दुनिया
- लेकिन हाल ही
- फिर
- वहाँ।
- जिसके चलते
- इन
- वे
- इसका
- उन
- तीन
- कामयाब होना
- यहाँ
- THROUGHPUT
- पहर
- समय श्रृंखला
- बार
- खिताब
- सेवा मेरे
- आज
- एक साथ
- उपकरण
- ट्रैक
- ट्रैकिंग
- स्थानांतरण
- बदलने
- पारगमन
- ट्रिगर
- मोड़
- दो
- टाइप
- टाइपप्रति
- ठेठ
- Uk
- के अंतर्गत
- अनलॉक
- अरक्षणीय
- आधुनिकतम
- अपडेट
- के ऊपर
- यूआरआइ
- प्रयोग
- उपयोग
- प्रयुक्त
- उपयोगकर्ता
- उपयोगकर्ताओं
- का उपयोग
- यूटीसी
- उपयोग
- वैल
- मूल्य
- विविधता
- विभिन्न
- के माध्यम से
- दृष्टि
- भेंट
- आयतन
- करना चाहते हैं
- चाहता है
- गर्म
- था
- मार्ग..
- तरीके
- we
- मौसम
- वेब
- वेब विकास
- थे
- या
- कौन कौन से
- चौड़ा
- विस्तृत श्रृंखला
- मर्जी
- इच्छाओं
- साथ में
- बिना
- काम
- कामगार
- श्रमिकों
- विश्व
- चिंता
- होगा
- लिख रहे हैं
- साल
- अभी तक
- प्राप्ति
- इसलिए आप
- आपका
- जेफिरनेट