In 2022, हमने आपको अपने द्वारा किए गए नए संवर्द्धन के बारे में बताया Amazon EMR प्रबंधित स्केलिंग, जिससे क्लस्टर उपयोग में सुधार के साथ-साथ क्लस्टर लागत भी कम करने में मदद मिली। 2023 में, हमें यह बताते हुए खुशी हो रही है कि अमेज़ॅन ईएमआर टीम कड़ी मेहनत कर रही है। हमने ग्राहकों की आवश्यकताओं से पीछे हटकर काम किया और EC2 क्लस्टर क्षमता प्रबंधन और स्केलिंग अनुभव पर आपके अमेज़ॅन ईएमआर को बढ़ाने के लिए कई नई सुविधाएँ लॉन्च कीं।
अमेज़ॅन ईएमआर जैसे ओपन-सोर्स फ्रेमवर्क का उपयोग करके पेटाबाइट-स्केल डेटा प्रोसेसिंग, इंटरैक्टिव एनालिटिक्स और मशीन लर्निंग (एमएल) के लिए क्लाउड बिग डेटा समाधान है अपाचे स्पार्क, अपाचे हाइव, तथा हाथ की सफ़ाई. ग्राहकों ने हमसे ऐसी सुविधाओं के बारे में पूछा जो उनके बड़े, लंबे समय तक चलने वाले क्लस्टरों सहित EC2 क्लस्टरों पर उनके EMR के क्षमता प्रबंधन और स्केलिंग अनुभव को और बेहतर बनाएगी। हम उन जरूरतों को पूरा करने के लिए कड़ी मेहनत कर रहे हैं। निम्नलिखित कुछ प्रमुख संवर्द्धन हैं:
- स्पॉट इंस्टेंस के लिए प्रावधान टाइमआउट के साथ बढ़ी हुई ग्राहक पारदर्शिता और लचीलापन
- उदाहरण समूहों के साथ लॉन्च किए गए ईसी2 क्लस्टर पर अमेज़ॅन ईएमआर के लिए अनुकूलित कार्य नोड्स स्केल-अप
- स्पार्क ड्राइवरों के लिए बढ़ी हुई सुरक्षा के साथ नौकरी के लचीलेपन में सुधार
आइए गहराई से जानें और EC2 सुविधाओं पर नए Amazon EMR पर विस्तार से चर्चा करें।
स्पॉट इंस्टेंस के लिए प्रावधान टाइमआउट के साथ बढ़ी हुई ग्राहक पारदर्शिता और लचीलापन
कई Amazon EMR ग्राहक उपयोग करते हैं EC2 स्पॉट उदाहरण लागत कम करने के लिए EC2 क्लस्टरों पर उनके EMR के लिए। स्पॉट इंस्टेंस अतिरिक्त हैं अमेज़ॅन इलास्टिक कम्प्यूट क्लाउड (अमेज़ॅन ईसी2) गणना क्षमता ऑन-डिमांड मूल्य निर्धारण की तुलना में 90% तक की छूट पर प्रदान की जाती है। अमेज़ॅन ईएमआर आपको अपने क्लस्टर को मैन्युअल रूप से या उपयोग करके स्केल करने की क्षमता प्रदान करता है स्वचालित स्केलिंग। आप भी इसका उपयोग कर सकते हैं Amazon EMR प्रबंधित स्केलिंग कार्यभार और उपयोग के आधार पर स्वचालित रूप से आपके क्लस्टर का आकार बदलने की सुविधा।
स्पॉट इंस्टेंस का उपयोग करते हुए स्केलिंग करते समय ग्राहक अनुभव को बढ़ाने के लिए, इंस्टेंस फ्लीट का उपयोग करके लॉन्च किए गए EC2 क्लस्टर पर EMR के लिए, अब आप स्पॉट इंस्टेंस के लिए प्रोविजनिंग टाइमआउट निर्दिष्ट कर सकते हैं। यदि क्लस्टर स्केलिंग संचालन के दौरान क्लस्टर एक निर्दिष्ट समय सीमा से अधिक हो जाता है, तो प्रोविजनिंग टाइमआउट अमेज़ॅन ईएमआर को स्पॉट इंस्टेंस क्षमता का प्रावधान बंद करने के लिए कहेगा। आप मैन्युअल रूप से आकार बदलने वाले या अमेज़ॅन ईएमआर प्रबंधित स्केलिंग और ऑटो स्केलिंग का उपयोग करके क्लस्टर के लिए स्पॉट इंस्टेंस प्रोविजनिंग टाइमआउट को कॉन्फ़िगर कर सकते हैं।
इसके अतिरिक्त, बेहतर पारदर्शिता प्रदान करने के लिए, जब टाइमआउट अवधि समाप्त हो जाएगी, तो अमेज़ॅन ईएमआर स्वचालित रूप से ईवेंट भी भेज देगा अमेज़न CloudWatch ईवेंट धारा। इन क्लाउडवॉच इवेंट के साथ, आप ऐसे नियम बना सकते हैं जो एक निर्दिष्ट पैटर्न के अनुसार इवेंट से मेल खाते हैं, और फिर कार्रवाई करने के लिए इवेंट को लक्ष्य तक रूट कर सकते हैं। अधिक जानने के लिए कृपया देखें अमेज़ॅन ईएमआर में क्लस्टर आकार के लिए प्रावधान टाइमआउट अवधि को अनुकूलित करें.
जब आप EC2 क्लस्टर पर अपने Amazon EMR के आकार परिवर्तन के दौरान प्रोविजनिंग टाइमआउट अवधि को कॉन्फ़िगर करते हैं तो कृपया विभिन्न परिदृश्यों के लिए अनुभव का सारांश नीचे दिया गया है।
परिदृश्य | अनुभव |
अमेज़ॅन ईएमआर प्रोविजनिंग टाइमआउट की समाप्ति से पहले वांछित स्पॉट क्षमता का प्रावधान करने में सक्षम है | अमेज़ॅन ईएमआर स्वचालित रूप से क्लस्टर को वांछित क्षमता तक बढ़ा देता है और ग्राहक की ओर से किसी कार्रवाई की आवश्यकता नहीं होती है |
अमेज़ॅन ईएमआर किसी भी स्पॉट क्षमता का प्रावधान करने में सक्षम नहीं है या केवल आंशिक स्पॉट क्षमता का प्रावधान करने में सक्षम है और प्रावधान का समय समाप्त हो गया है | यदि अमेज़ॅन ईएमआर आवश्यक स्पॉट क्षमता का प्रावधान नहीं कर सकता है और प्रावधान का समय समाप्त हो गया है, तो अमेज़ॅन ईएमआर आकार बदलने के अनुरोध को रद्द कर देगा और अतिरिक्त स्पॉट क्षमता का प्रावधान करने के अपने प्रयासों को रोक देगा। अमेज़ॅन ईएमआर अमेज़ॅन क्लाउडवॉच इवेंट स्ट्रीम में भी इवेंट प्रकाशित करेगा। ग्राहक इन इवेंट का उपयोग नियम बनाने और उचित कार्रवाई करने के लिए कर सकते हैं |
यदि EC2 क्लस्टर पर आपके Amazon EMR में स्पॉट इंस्टेंसेस बाधित हैं क्योंकि Amazon EC2 को उनकी वापसी की आवश्यकता है | अमेज़ॅन ईएमआर स्वचालित रूप से आपके क्लस्टर में उपलब्ध प्रकारों में से किसी के साथ इंस्टेंस को प्रतिस्थापित करके आपके क्लस्टर को पुनर्संतुलित करने के लिए एक नया आकार अनुरोध ट्रिगर करेगा। अमेज़ॅन ईएमआर भी उसी प्रोविज़निंग रिसाइज़ टाइमआउट का उपयोग करेगा जो क्लस्टर पर कॉन्फ़िगर किया गया था। ग्राहक की ओर से किसी कार्रवाई की आवश्यकता नहीं है. |
प्रोविजनिंग टाइमआउट मान निर्दिष्ट करते समय आपको क्षमता उपलब्धता की गंभीरता पर विचार करना चाहिए:
- जब आपकी कार्यभार क्षमता की उपलब्धता महत्वपूर्ण हो - यह सुनिश्चित करने के लिए कि वांछित क्षमता उपलब्ध है, हम एप्लिकेशन और एप्लिकेशन SLAs को चलाने में लगने वाले समय के आधार पर आकार बदलने के प्रावधान टाइमआउट को कॉन्फ़िगर करने की अनुशंसा करते हैं। उदाहरण के लिए, यदि एप्लिकेशन एसएलए 60 मिनट का है और एप्लिकेशन को पूरा होने में 30 मिनट लगते हैं, तो आपको आकार बदलने के प्रावधान का समय 30 मिनट या उससे कम पर सेट करना चाहिए। अमेज़ॅन ईएमआर टाइमआउट समाप्त होने (30 मिनट या उससे कम) तक स्पॉट क्षमता प्राप्त करने का प्रावधान करने का प्रयास करेगा और एक क्लाउडवॉच ईवेंट प्रकाशित करेगा ताकि आप उचित कार्रवाई कर सकें।
- जब आपका कार्यभार समय लचीला हो और क्षमता उपलब्धता कोई कारक न हो - यदि कार्यभार समय लचीला है और क्षमता उपलब्धता एक कारक नहीं है, तो वांछित स्पॉट क्षमता प्राप्त करने की उच्चतम संभावना सुनिश्चित करने के लिए, आप आकार बदलने के प्रावधान टाइमआउट के लिए उच्च टाइमआउट मान कॉन्फ़िगर कर सकते हैं।
इंस्टेंस समूहों के साथ EC2 क्लस्टर पर अमेज़न EMR के लिए अनुकूलित कार्य नोड्स स्केल-अप लॉन्च किया गया
इंस्टेंस समूह EC2 क्लस्टर पर EMR लॉन्च करने के लिए एक सरल सेटअप प्रदान करते हैं। इंस्टेंस समूहों का उपयोग करके लॉन्च किए गए प्रत्येक क्लस्टर में अधिकतम 50 इंस्टेंस समूह शामिल हो सकते हैं: एक प्राथमिक इंस्टेंस समूह जिसमें एक EC2 इंस्टेंस होता है, एक कोर इंस्टेंस समूह जिसमें एक या अधिक EC2 इंस्टेंस होते हैं, और 48 वैकल्पिक कार्य इंस्टेंस समूह होते हैं। आप EC2 इंस्टेंस को मैन्युअल रूप से जोड़कर और हटाकर प्रत्येक इंस्टेंस समूह को स्केल कर सकते हैं, या आप स्वचालित स्केलिंग सेट कर सकते हैं। आप कार्यभार और उपयोग के आधार पर अपने क्लस्टर का स्वचालित रूप से आकार बदलने के लिए अमेज़ॅन ईएमआर प्रबंधित स्केलिंग सुविधा का भी उपयोग कर सकते हैं।
अमेज़ॅन ईएमआर प्रबंधित स्केलिंग का उपयोग करके कार्य नोड्स को स्केल करते समय ईसी2 क्लस्टर पर ईएमआर पर उदाहरण समूहों के लिए ग्राहक अनुभव को बढ़ाने के लिए, हमने कार्य उदाहरण समूहों को चुनने के लिए प्रबंधित स्केलिंग एल्गोरिदम को बढ़ाया है जिनमें क्षमता प्राप्त करने की सबसे अधिक संभावना है। इसके अलावा, जब प्रबंधित स्केलिंग किसी एकल कार्य उदाहरण समूह के साथ क्षमता हासिल करने में सक्षम नहीं होती है, तो किसी भी स्केल-अप देरी को कम करने के लिए, अमेज़ॅन ईएमआर स्वचालित रूप से दूसरे कार्य समूह में स्विच हो जाएगा और कई कार्य उदाहरण समूहों का उपयोग करके क्षमता को पूरा करेगा। नतीजतन, आप अपने उदाहरण प्रकारों के बारे में जितने अधिक लचीले होंगे, प्रावधान क्षमता की संभावना उतनी ही अधिक होगी। अधिक जानने के लिए, देखें उदाहरण के लिए सर्वोत्तम अभ्यास और उपलब्धता क्षेत्र लचीलापन.
स्पार्क ड्राइवरों के लिए बढ़ी हुई सुरक्षा के साथ नौकरी के लचीलेपन में सुधार
In 2022अमेज़ॅन ईएमआर प्रबंधित स्केलिंग का उपयोग करते समय नौकरी लचीलेपन में सुधार करने के लिए, हमने स्पार्क शफ़ल डेटा जागरूक होने के लिए प्रबंधित स्केलिंग को बढ़ाया, जो अपाचे स्पार्क के लिए मध्यवर्ती शफ़ल डेटा संग्रहीत करने वाले उदाहरणों के स्केल-डाउन को रोकता है। यह नौकरी के दोबारा प्रयास और पुनर्गणना को रोकने में मदद करता है, जिससे बेहतर प्रदर्शन और कम लागत होती है।
अमेज़ॅन ईएमआर प्रबंधित स्केलिंग का उपयोग करते समय नौकरी के लचीलेपन को और बेहतर बनाने के लिए, हमने स्पार्क ड्राइवर को जागरूक करने के लिए प्रबंधित स्केलिंग को और बढ़ाया है, जो यह सुनिश्चित करता है कि क्लस्टर स्केल-डाउन के दौरान, अमेज़ॅन ईएमआर प्रबंधित स्केलिंग उन नोड्स के स्केल-डाउन को प्राथमिकता देता है जिनके पास नहीं है उन पर सक्रिय स्पार्क ड्राइवर चल रहा है। इससे नौकरी की विफलताओं और नौकरी के पुनः प्रयास को कम करने में मदद मिलती है, प्रदर्शन को और बेहतर बनाने और लागत कम करने में मदद मिलती है। यह एन्हांसमेंट अमेज़ॅन ईएमआर संस्करण 5.34.0 और बाद के संस्करण, और अमेज़ॅन ईएमआर संस्करण 6.4.0 और बाद के संस्करण का उपयोग करके ईएमआर क्लस्टर के लिए डिफ़ॉल्ट रूप से सक्षम है।
यह पुष्टि करने के लिए कि आपके क्लस्टर में कौन से नोड स्पार्क ड्राइवर चला रहे हैं, आप स्पार्क हिस्ट्री सर्वर पर जा सकते हैं और ड्राइवर के लिए फ़िल्टर कर सकते हैं निष्पादकों आपके स्पार्क एप्लिकेशन आईडी का टैब।
निष्कर्ष
इस पोस्ट में, हमने क्षमता प्रबंधन और EC2 क्लस्टर पर EMR के लिए Amazon EMR प्रबंधित स्केलिंग में किए गए सुधारों पर प्रकाश डाला है। हमने स्पॉट इंस्टेंस का प्रावधान करते समय नौकरी के लचीलेपन में सुधार, लचीलेपन और पारदर्शिता में सुधार और ईसी2 क्लस्टर पर अमेज़ॅन ईएमआर पर इंस्टेंस समूहों के साथ प्रबंधित स्केलिंग का उपयोग करते समय स्केल-अप अनुभव को अनुकूलित करने पर ध्यान केंद्रित किया। हालाँकि हमने 2023 में अब तक कई सुविधाएँ लॉन्च की हैं और नवाचार की गति में तेजी जारी है, यह पहला दिन है और हम आपसे यह सुनने के लिए उत्सुक हैं कि ये सुविधाएँ आपके संगठनों के लिए अधिक मूल्य अनलॉक करने में कैसे मदद करती हैं। हम आपको इन नई सुविधाओं को आज़माने के लिए आमंत्रित करते हैं और यदि आपकी कोई और टिप्पणी हो तो अपनी AWS खाता टीम के माध्यम से हमसे संपर्क करें।
लेखक के बारे में
सुशांत मजीठिया AWS में EMR के लिए प्रधान उत्पाद प्रबंधक हैं।
अंकुर गोयल अमेज़ॅन ईएमआर बिग डेटा प्लेटफ़ॉर्म टीम में एक एसडीएम हैं। वह बड़े पैमाने पर वितरित एप्लिकेशन और क्लस्टर अनुकूलन एल्गोरिदम बनाता है। अंकुर को एनालिटिक्स, मशीन लर्निंग और फोरकास्टिंग के विषयों में रुचि है।
मैथ्यू लीम AWS में सीनियर सॉल्यूशन आर्किटेक्चर मैनेजर हैं।
तरूण चानना अमेज़ॅन ईएमआर बिग डेटा प्लेटफ़ॉर्म टीम में एक एसडीएम हैं।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. ऑटोमोटिव/ईवीएस, कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- चार्टप्राइम. चार्टप्राइम के साथ अपने ट्रेडिंग गेम को उन्नत करें। यहां पहुंचें।
- BlockOffsets. पर्यावरणीय ऑफसेट स्वामित्व का आधुनिकीकरण। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/big-data/capacity-management-and-amazon-emr-managed-scaling-improvements-for-amazon-emr-on-ec2-clusters/
- :हैस
- :है
- :नहीं
- $यूपी
- 1
- 100
- 11
- 2023
- 30
- 50
- 60
- 7
- 9
- a
- योग्य
- About
- में तेजी लाने के
- अनुसार
- लेखा
- अधिग्रहण
- प्राप्ति
- कार्य
- कार्रवाई
- सक्रिय
- जोड़ने
- अतिरिक्त
- कलन विधि
- एल्गोरिदम
- भी
- हालांकि
- वीरांगना
- अमेज़ॅन EC2
- अमेज़ॅन ईएमआर
- अमेज़ॅन वेब सेवा
- an
- विश्लेषिकी
- और
- अन्य
- कोई
- अपाचे
- अपाचे स्पार्क
- आवेदन
- अनुप्रयोगों
- उपयुक्त
- स्थापत्य
- हैं
- AS
- At
- प्रयास
- स्वत:
- स्वचालित
- स्वतः
- उपलब्धता
- उपलब्ध
- जागरूक
- एडब्ल्यूएस
- आधारित
- BE
- किया गया
- से पहले
- नीचे
- बेहतर
- बड़ा
- बड़ा डेटा
- बनाता है
- by
- कर सकते हैं
- क्षमता
- क्षमता
- संभावना
- चुनें
- बादल
- बादल बड़ा डेटा
- समूह
- टिप्पणियाँ
- तुलना
- पूरा
- गणना करना
- कॉन्फ़िगर किया गया
- पुष्टि करें
- इसके फलस्वरूप
- विचार करना
- शामिल हैं
- जारी
- मूल
- लागत
- लागत
- बनाना
- निर्णायक मोड़
- ग्राहक
- ग्राहक अनुभव
- ग्राहक
- तिथि
- डेटा प्लेटफार्म
- डेटा संसाधन
- दिन
- और गहरा
- चूक
- देरी
- वांछित
- विस्तार
- विभिन्न
- छूट
- चर्चा करना
- वितरित
- डुबकी
- dont
- ड्राइवर
- दौरान
- से प्रत्येक
- भी
- सक्षम
- बढ़ाना
- वर्धित
- वृद्धि
- संवर्द्धन
- सुनिश्चित
- सुनिश्चित
- ईथर (ईटीएच)
- कार्यक्रम
- घटनाओं
- उदाहरण
- से अधिक
- अनुभव
- समाप्ति
- कारक
- दूर
- Feature
- विशेषताएं
- फ़िल्टर
- खोज
- लचीलापन
- लचीला
- ध्यान केंद्रित
- निम्नलिखित
- के लिए
- आगे
- चौखटे
- से
- पूरा
- आगे
- और भी
- मिल
- मिल रहा
- समूह
- समूह की
- खुश
- कठिन
- है
- he
- सुनवाई
- मदद
- मदद की
- मदद
- मदद करता है
- उच्चतर
- उच्चतम
- हाइलाइट
- इतिहास
- कैसे
- एचटीएमएल
- http
- HTTPS
- ID
- if
- में सुधार
- सुधार
- में सुधार लाने
- in
- शामिल
- सहित
- नवोन्मेष
- उदाहरण
- इंटरैक्टिव
- रुचि
- मध्यवर्ती
- बाधित
- आमंत्रित करना
- IT
- काम
- कुंजी
- बड़ा
- बाद में
- लांच
- शुभारंभ
- बिक्रीसूत्र
- जानें
- सीख रहा हूँ
- कम
- संभावना
- देखिए
- कम
- मशीन
- यंत्र अधिगम
- बनाया गया
- कामयाब
- प्रबंध
- प्रबंधक
- मैन्युअल
- मैच
- मिलना
- मिनट
- ML
- अधिक
- विभिन्न
- जरूरत
- की जरूरत है
- नया
- नई सुविधाएँ
- नहीं
- नोड्स
- अभी
- of
- प्रस्ताव
- प्रस्तुत
- ऑफर
- on
- ऑन डिमांड
- ONE
- केवल
- खुला स्रोत
- संचालन
- इष्टतमीकरण
- के अनुकूलन के
- or
- संगठनों
- शांति
- पैटर्न
- प्रदर्शन
- अवधि
- मंच
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- कृप्या अ
- पद
- प्रथाओं
- रोकता है
- कीमत निर्धारण
- प्राथमिक
- प्रिंसिपल
- प्रसंस्करण
- एस्ट्रो मॉल
- उत्पादन प्रबंधक
- सुरक्षा
- प्रदान करना
- प्रावधान
- प्रकाशित करना
- संतुलित
- की सिफारिश
- को कम करने
- घटी
- उल्लेख
- बाकी है
- हटाने
- रिपोर्ट
- का अनुरोध
- अपेक्षित
- आवश्यकताएँ
- मार्ग
- नियम
- रन
- दौड़ना
- वही
- स्केल
- स्केल अप
- स्केलिंग
- एसडीएम
- भेजें
- वरिष्ठ
- सेवाएँ
- सेट
- व्यवस्था
- चाहिए
- घसीटना
- एक
- So
- अब तक
- समाधान
- कुछ
- स्पार्क
- विनिर्दिष्ट
- Spot
- रुकें
- बंद हो जाता है
- की दुकान
- धारा
- ऐसा
- स्विच
- लेना
- लेता है
- लक्ष्य
- कार्य
- टीम
- कहना
- कि
- RSI
- लेकिन हाल ही
- उन
- फिर
- इन
- इसका
- उन
- द्वार
- यहाँ
- पहर
- सेवा मेरे
- विषय
- स्पर्श
- ट्रांसपेरेंसी
- ट्रिगर
- कोशिश
- प्रकार
- अनलॉक
- जब तक
- us
- उपयोग
- का उपयोग
- मूल्य
- भेंट
- था
- we
- वेब
- वेब सेवाओं
- कुंआ
- कब
- कौन कौन से
- मर्जी
- साथ में
- काम
- काम किया
- होगा
- इसलिए आप
- आपका
- जेफिरनेट