जून 2020 में, AWS ने सामान्य उपलब्धता की घोषणा की Amazon EMR प्रबंधित स्केलिंग. ईएमआर प्रबंधित स्केलिंग के साथ, आप अपने क्लस्टर के लिए न्यूनतम और अधिकतम गणना सीमा निर्दिष्ट करते हैं, और अमेज़ॅन ईएमआर इष्टतम प्रदर्शन और संसाधन उपयोग के लिए स्वचालित रूप से आपके क्लस्टर का आकार बदल देता है। EMR प्रबंधित स्केलिंग मुख्य वर्कलोड-संबंधित मेट्रिक्स पर लगातार नज़र रखता है और एक एल्गोरिथ्म का उपयोग करता है जो सर्वोत्तम संसाधन उपयोग के लिए क्लस्टर आकार का अनुकूलन करता है। यह देखते हुए कि सुविधा पूरी तरह से प्रबंधित है, संस्करण उन्नयन की आवश्यकता के बिना एल्गोरिदम में सुधार तुरंत महसूस किए जाते हैं। अमेज़ॅन ईएमआर चोटी के दौरान क्लस्टर को बढ़ा सकता है और निष्क्रिय अवधि के दौरान इसे शानदार ढंग से कम कर सकता है, आपकी लागत कम कर सकता है और सर्वोत्तम प्रदर्शन के लिए क्लस्टर क्षमता का अनुकूलन कर सकता है।
2022 के दौरान, हमने EMR प्रबंधित स्केलिंग एल्गोरिथम में कई संवर्द्धन किए। इन सुधारों के साथ, हमने देखा कि ईएमआर प्रबंधित स्केलिंग के साथ सक्षम समूहों के लिए, उपयोग में 15 प्रतिशत तक सुधार हुआ है, और कुल लागत में 19 प्रतिशत तक की कमी आई है। दिसंबर 2022 के मध्य से, EMR प्रबंधित स्केलिंग एन्हांसमेंट डिफ़ॉल्ट रूप से Amazon EMR संस्करण 5.34.0 और बाद में और Amazon EMR संस्करण 6.4.0 और बाद में नए और मौजूदा क्लस्टर दोनों के लिए सक्षम किए गए थे। इसके अलावा, यह देखते हुए कि सुविधा पूरी तरह से प्रबंधित है, आपको डिफ़ॉल्ट रूप से नया अनुकूलित प्रबंधित स्केलिंग एल्गोरिथम मिलेगा, और आपकी ओर से किसी कार्रवाई की आवश्यकता नहीं है।
EMR प्रबंधित स्केलिंग के लिए हमारे द्वारा सक्षम किए गए कुछ प्रमुख संवर्द्धन नीचे सूचीबद्ध किए गए हैं:
- आपके EMR क्लस्टर के लक्षित स्केल-डाउन के साथ बेहतर क्लस्टर उपयोग
- इंटरमीडिएट शफल डेटा का उपयोग करने वाले उदाहरणों के स्केल-डाउन को रोककर लागत कम करें स्पार्क फेरबदल डेटा जागरूकता
- बेहतर क्लस्टर उपयोग और अपने ईएमआर क्लस्टर के क्रमिक विस्तार के साथ लागत कम करें
ग्राहक की सफलता की कहानियाँ
उन्नत ईएमआर प्रबंधित स्केलिंग एल्गोरिद्म ने कैसे एक प्रौद्योगिकी उद्यम को लागत कम करने में मदद की:
उदाहरणों द्वारा लागत बचत को स्पष्ट करने के लिए, हमने एक प्रौद्योगिकी उद्यम के लिए EMR समूहों को देखा, जो स्पार्क का उपयोग करके काफ्का और S3 के बीच वास्तविक समय बिलिंग डेटा को संसाधित करने के लिए Amazon EMR का भारी उपयोग करता है। वे ईएमआर संस्करण 5.35 के साथ एक सतत ईएमआर क्लस्टर चलाते हैं और ईएमआर प्रबंधित स्केलिंग चालू है। निम्नलिखित Amazon CloudWatch डैशबोर्ड दिखाता है कि 21 दिसंबर से कैसे उन्नत प्रबंधित स्केलिंग एल्गोरिथम का प्रावधान किया गया है (कुल नोड्स का अनुरोध किया) केवल 70 नोड्स बनाम पिछले प्रबंधित स्केलिंग एल्गोरिथम जिसने एक समान जॉब प्रोफाइल के लिए 179 नोड्स का प्रावधान किया था। आपके कार्यों को चलाने के लिए प्रावधान किए गए संसाधनों की संख्या जितनी कम होगी, आपके ईएमआर क्लस्टर की कुल लागत उतनी ही कम होगी।
उन्नत EMR प्रबंधित स्केलिंग एल्गोरिथम ने एक विज्ञापन उद्यम को लागत कम करने में कैसे मदद की:
हमने एक विज्ञापन उद्यम के लिए एक EMR क्लस्टर भी देखा, जो अपनी डेटा एनालिटिक्स रणनीति के लिए Amazon EMR का लाभ उठाता है और स्पार्क का उपयोग करके अपने बैच ETL नौकरियों को निष्पादित करता है। वे अपने क्लस्टर ईएमआर संस्करण 6.5 पर चलाते हैं और ईएमआर प्रबंधित स्केलिंग चालू है। निम्नलिखित अमेज़ॅन क्लाउडवॉच डैशबोर्ड दिखाता है कि 15 दिसंबर से कैसे उन्नत प्रबंधित स्केलिंग एल्गोरिदम का प्रावधान किया गया है (कुल इकाइयों का अनुरोध किया) केवल 41 नोड्स बनाम पिछले प्रबंधित स्केलिंग एल्गोरिथम जिसने एक समान जॉब प्रोफाइल के लिए 86 नोड्स का प्रावधान किया था।
आपके EMR समूहों के लिए लागत बचत और उपयोग में सुधार का अनुमान लगाना:
क्लस्टर लागत बचत:
EMR प्रबंधित स्केलिंग संवर्द्धन के साथ अपने EMR क्लस्टर के लिए अनुमानित लागत बचत देखने के लिए, कृपया नीचे दिए गए चरणों का पालन करें:
- ओपन क्लाउडवॉच मेट्रिक्स कंसोल और अंदर ईएमआर, अपने द्वारा खोजें
ClusterId. - EMR के लिए उपलब्ध मेट्रिक्स की सूची से, निम्नलिखित दो मेट्रिक्स का चयन करें:
- दौड़ने की क्षमता - आपके द्वारा अपनी प्रबंधित स्केलिंग नीति में निर्दिष्ट इकाई प्रकार के आधार पर, यह "या तो" के रूप में उपलब्ध होगाकुल इकाइयां चल रही हैं""कुल नोड्स चल रहा हैया "कुलवीसीपुरचल रहा है".
- प्रबंधित स्केलिंग द्वारा अनुरोधित क्षमता - आपके द्वारा अपनी प्रबंधित स्केलिंग नीति में निर्दिष्ट इकाई प्रकार के आधार पर, यह "या तो" के रूप में उपलब्ध होगाकुल इकाइयों का अनुरोध किया गया""कुल नोड्स का अनुरोध किया गयाया "कुल वीसीपीयू अनुरोध किया गया".
- दोनों मेट्रिक्स को अपने क्लाउडवॉच डैशबोर्ड पर प्लॉट करें।
- पिछले प्रबंधित स्केलिंग एल्गोरिदम की तुलना में उन्नत प्रबंधित स्केलिंग एल्गोरिदम के साथ सुधार देखने के लिए नवंबर 3 और जनवरी 2022 के बीच 2023 महीने के रूप में समय सीमा का चयन करें।
क्लस्टर उपयोग में सुधार:
EMR प्रबंधित स्केलिंग संवर्द्धन के साथ अपने EMR क्लस्टर उपयोग में सुधार का अनुमान लगाने के लिए, कृपया नीचे दिए गए चरणों का पालन करें:
- CloudWatch मेट्रिक्स कंसोल और, नीचे खोलें ईएमआर, अपने द्वारा खोजें
ClusterId. - ईएमआर के लिए उपलब्ध मेट्रिक्स की सूची से, "चुनें"यार्नमेमोरीउपलब्धप्रतिशत” मीट्रिक।
- YARN द्वारा उपयोग की जाने वाली मेमोरी को प्राप्त करने के लिए, एक मैथ एक्सप्रेशन जोड़ें जैसे "मैथ जोड़ें → खाली एक्सप्रेशन से शुरू करें"
- नई गणित अभिव्यक्ति के लिए, सेट करें लेबल = सूत का उपयोग और सेट करें विवरण=100-YARNMemoryAvailablePercentage.
- क्लस्टर उपयोग मीट्रिक को अपने क्लाउडवॉच डैशबोर्ड पर प्लॉट करें।
- पिछले प्रबंधित स्केलिंग एल्गोरिदम की तुलना में उन्नत प्रबंधित स्केलिंग एल्गोरिदम के साथ सुधार देखने के लिए नवंबर 3 और जनवरी 2022 के बीच 2023 महीने के रूप में समय सीमा का चयन करें।
आगे क्या होगा
हम हर नए ईएमआर रिलीज के साथ प्रबंधित स्केलिंग एल्गोरिदम को ट्यून करना जारी रखेंगे और ईएमआर प्रबंधित स्केलिंग के साथ क्लस्टर स्केल करते समय ग्राहक अनुभव में सुधार करेंगे।
निष्कर्ष
इस पोस्ट में, हमने ईएमआर प्रबंधित स्केलिंग में लॉन्च की गई महत्वपूर्ण वृद्धि का अवलोकन प्रदान किया। इन संवर्द्धन के साथ, हमने देखा कि क्लस्टर उपयोग में 15 प्रतिशत तक सुधार हुआ है और क्लस्टर लागत में 19 प्रतिशत तक की कमी आई है। दिसंबर 2022 के मध्य से, Amazon EMR संस्करण 5.34.0 और बाद के संस्करण, और Amazon EMR संस्करण 6.4.0 और बाद के संस्करण का उपयोग करके EMR समूहों के लिए डिफ़ॉल्ट रूप से इन संवर्द्धन को सक्षम किया गया था। यह देखते हुए कि EMR प्रबंधित स्केलिंग पूरी तरह से प्रबंधित सुविधा है, आपको डिफ़ॉल्ट रूप से नया, अनुकूलित EMR प्रबंधित स्केलिंग एल्गोरिथम मिलेगा, और आपकी ओर से किसी कार्रवाई की आवश्यकता नहीं है।
अधिक जानने के लिए और EMR प्रबंधित स्केलिंग के साथ आरंभ करने के लिए, पर जाएँ EMR प्रबंधित स्केलिंग प्रलेखन पृष्ठ.
लेखक के बारे में
सुशांत मजीठिया Amazon Web Services पर EMR के लिए प्रधान उत्पाद प्रबंधक हैं।
विशाल व्यास Amazon Web Services में EMR के लिए एक वरिष्ठ सॉफ्टवेयर इंजीनियर हैं।
मैथ्यू लीम AWS में सीनियर सॉल्यूशन आर्किटेक्चर मैनेजर हैं।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोब्लॉकचैन। Web3 मेटावर्स इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/big-data/reduce-amazon-emr-cluster-costs-by-up-to-19-with-new-enhancements-in-amazon-emr-managed-scaling/
- 2020
- 2022
- 2023
- 70
- 84
- a
- कार्य
- विज्ञापन
- कलन विधि
- वीरांगना
- अमेज़ॅन ईएमआर
- अमेज़ॅन वेब सेवा
- विश्लेषिकी
- और
- की घोषणा
- स्थापत्य
- स्वतः
- उपलब्धता
- उपलब्ध
- एडब्ल्यूएस
- आधारित
- नीचे
- BEST
- के बीच
- बिलिंग
- क्षमता
- समूह
- तुलना
- पूरी तरह से
- गणना करना
- कंसोल
- निरंतर
- जारी रखने के
- लागत
- लागत बचत
- लागत
- ग्राहक
- ग्राहक अनुभव
- डैशबोर्ड
- तिथि
- डेटा विश्लेषण
- दिसंबर
- चूक
- नीचे
- दौरान
- सक्षम
- इंजीनियर
- वर्धित
- उद्यम
- आकलन
- अनुमानित
- ईथर (ईटीएच)
- प्रत्येक
- उदाहरण
- निष्पादित करता है
- मौजूदा
- अनुभव
- Feature
- का पालन करें
- निम्नलिखित
- फ्रेम
- से
- आगे
- सामान्य जानकारी
- मिल
- दी
- क्रमिक
- भारी
- मदद की
- कैसे
- एचटीएमएल
- HTTPS
- निष्क्रिय
- तुरंत
- में सुधार
- उन्नत
- सुधार
- in
- मध्यवर्ती
- IT
- जनवरी
- काम
- नौकरियां
- काफ्का
- कुंजी
- शुभारंभ
- जानें
- leverages
- सीमाएं
- सूची
- देखा
- बनाया गया
- कामयाब
- प्रबंधक
- गणित
- अधिकतम
- याद
- मीट्रिक
- मेट्रिक्स
- न्यूनतम
- पर नज़र रखता है
- महीने
- अधिक
- विभिन्न
- जरूरत
- ज़रूरत
- नया
- नोड्स
- नवंबर
- संख्या
- इष्टतम
- अनुकूलित
- अनुकूलन
- के अनुकूलन के
- सिंहावलोकन
- प्रतिशत
- प्रदर्शन
- अवधि
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- कृप्या अ
- नीति
- पद
- रोकने
- पिछला
- प्रिंसिपल
- प्रक्रिया
- एस्ट्रो मॉल
- उत्पादन प्रबंधक
- प्रोफाइल
- बशर्ते
- वास्तविक
- वास्तविक समय
- एहसास हुआ
- को कम करने
- घटी
- को कम करने
- और
- का अनुरोध किया
- संसाधन
- उपयुक्त संसाधन चुनें
- रन
- बचत
- स्केल
- स्केल अप
- स्केलिंग
- Search
- वरिष्ठ
- सेवाएँ
- सेट
- दिखाता है
- घसीटना
- समान
- आकार
- सॉफ्टवेयर
- सॉफ्टवेयर इंजीनियर
- समाधान
- कुछ
- स्पार्क
- विनिर्दिष्ट
- प्रारंभ
- शुरू
- शुरुआत में
- कदम
- की दुकान
- स्ट्रेटेजी
- सफलता
- ऐसा
- लक्षित
- टेक्नोलॉजी
- RSI
- लेकिन हाल ही
- जिसके चलते
- पहर
- सेवा मेरे
- कुल
- के अंतर्गत
- इकाई
- इकाइयों
- उन्नयन
- उपयोग किया
- संस्करण
- देखें
- वेब
- वेब सेवाओं
- कौन कौन से
- मर्जी
- बिना
- आपका
- जेफिरनेट
