उच्च उपलब्धता के लिए Amazon OpenSearch सेवा को कॉन्फ़िगर करें अमेज़न वेब सेवाएँ

अमेज़न ओपन सर्च सर्विस एक पूरी तरह से ओपन-सोर्स सर्च और एनालिटिक्स इंजन है जो सिफारिश इंजन, ईकॉमर्स साइट्स और कैटलॉग सर्च जैसे मामलों के उपयोग के मामलों के लिए रीयल-टाइम खोज, निगरानी और व्यापार और परिचालन डेटा के विश्लेषण को सुरक्षित रूप से अनलॉक करता है। अपने व्यवसाय में सफल होने के लिए, आपको अपने सिस्टम को अत्यधिक उपलब्ध और प्रदर्शन करने, डाउनटाइम को कम करने और विफलता से बचने की आवश्यकता है। जब आप OpenSearch सेवा का उपयोग अपने बुनियादी ढांचे की निगरानी के अपने प्राथमिक साधन के रूप में करते हैं, तो आपको इसकी उपलब्धता भी सुनिश्चित करनी होगी। OpenSearch सेवा के लिए डाउनटाइम का आपके व्यावसायिक परिणामों पर महत्वपूर्ण प्रभाव पड़ सकता है, जैसे राजस्व में कमी, उत्पादकता में कमी, ब्रांड वैल्यू में कमी, और बहुत कुछ।

RSI उपलब्धता को मापने के लिए उद्योग मानक नौ की कक्षा है। जब आप अनुसरण करते हैं तो OpenSearch सेवा 3 9 की उपलब्धता प्रदान करती है सर्वोत्तम प्रथाओं, जिसका अर्थ है कि यह एक महीने में 43.83 मिनट से कम डाउनटाइम की गारंटी देता है। इस पोस्ट में, आप जानेंगे कि कैसे आप अपने डोमेन को सेट अप करते समय सर्वोत्तम अभ्यासों और अनुशंसाओं का पालन करके अपने OpenSearch सेवा डोमेन को उच्च उपलब्धता और प्रदर्शन के लिए कॉन्फ़िगर कर सकते हैं।

दो आवश्यक तत्व हैं जो आपके डोमेन की उपलब्धता को प्रभावित करते हैं: आपके डोमेन का संसाधन उपयोग, जो अधिकतर आपके वर्कलोड द्वारा संचालित होता है, और बाहरी घटनाएं जैसे बुनियादी ढांचे की विफलता। हालांकि पूर्व को डोमेन के प्रदर्शन और स्वास्थ्य की निरंतर निगरानी और तदनुसार डोमेन को स्केल करके नियंत्रित किया जा सकता है, बाद वाला नहीं कर सकता। उपलब्धता क्षेत्र आउटेज, इंस्टेंस या डिस्क विफलता, या आपके डोमेन पर नेटवर्किंग समस्याओं जैसे बाहरी घटनाओं के प्रभाव को कम करने के लिए, आपको अतिरिक्त क्षमता का प्रावधान करना होगा, कई उपलब्धता क्षेत्रों में वितरित करना होगा, और डेटा की कई प्रतियां रखनी होंगी। ऐसा करने में विफलता के परिणामस्वरूप खराब प्रदर्शन, अनुपलब्धता और सबसे खराब स्थिति में डेटा हानि हो सकती है।

यह सुनिश्चित करने के लिए कि डोमेन उपलब्ध है और प्रदर्शन कर रहा है, आइए आपके लिए उपलब्ध विकल्पों पर गौर करें।

क्लस्टर कॉन्फ़िगरेशन

इस खंड के तहत हम विभिन्न कॉन्फ़िगरेशन विकल्पों के बारे में बात करेंगे जो आपको अपने क्लस्टर को ठीक से सेटअप करने के लिए करना होगा जिसमें तैनाती के लिए AZ की संख्या निर्दिष्ट करना, मास्टर और डेटा नोड सेट करना, इंडेक्स और शार्ड सेट करना शामिल है।

मल्टी-एजेड परिनियोजन

डेटा नोड आपके डोमेन में इंडेक्सिंग और खोज अनुरोधों को प्रोसेस करने के लिए ज़िम्मेदार हैं। एकाधिक उपलब्धता क्षेत्रों में अपने डेटा नोड्स को तैनात करने से अनावश्यक, प्रति-क्षेत्र डेटा संग्रहण और प्रसंस्करण जोड़कर आपके डोमेन की उपलब्धता में सुधार होता है। मल्टी-एजेड परिनियोजन के साथ, पूर्ण उपलब्धता क्षेत्र अनुपलब्ध होने पर भी आपका डोमेन उपलब्ध रह सकता है। उत्पादन कार्यभार के लिए, AWS आपके डोमेन के लिए तीन उपलब्धता क्षेत्रों का उपयोग करने की अनुशंसा करता है. बेहतर उपलब्धता के लिए केवल दो का समर्थन करने वाले क्षेत्रों के लिए दो उपलब्धता क्षेत्रों का उपयोग करें। यह सुनिश्चित करता है कि सिंगल-एजेड विफलता की स्थिति में आपका डोमेन उपलब्ध है।

समर्पित क्लस्टर प्रबंधक (मास्टर नोड)

एडब्ल्यूएस तीन समर्पित क्लस्टर मैनेजर (सीएम) नोड्स का उपयोग करने की सिफारिश करता है सभी उत्पादन वर्कलोड के लिए। सीएम नोड्स क्लस्टर के स्वास्थ्य, उसके इंडेक्स और शार्ड्स की स्थिति और स्थान, सभी इंडेक्स के लिए मैपिंग और इसके डेटा नोड्स की उपलब्धता को ट्रैक करते हैं, और यह प्रक्रिया में क्लस्टर-स्तरीय कार्यों की एक सूची बनाए रखता है। समर्पित सीएम नोड्स के बिना, क्लस्टर डेटा नोड्स का उपयोग करता है, जो क्लस्टर को वर्कलोड मांगों के प्रति संवेदनशील बनाता है। आपको कार्य के आकार के आधार पर सीएम नोड्स का आकार देना चाहिए- मुख्य रूप से, डेटा नोड मायने रखता है, इंडेक्स मायने रखता है, और शार्क मायने रखता है। OpenSearch सेवा हमेशा तीन उपलब्धता क्षेत्रों में सीएम नोड तैनात करती है, जब क्षेत्र द्वारा समर्थित होता है (दो एक उपलब्धता क्षेत्र में और एक अन्य उपलब्धता क्षेत्र में यदि क्षेत्रों में केवल दो उपलब्धता क्षेत्र हैं)। एक चल रहे डोमेन के लिए, तीन सीएम नोड्स में से केवल एक निर्वाचित नेता के रूप में काम करता है। यदि निर्वाचित सीएम नोड विफल हो जाता है तो अन्य दो सीएम नोड चुनाव में भाग लेते हैं।

निम्न तालिका सीएम आकार के लिए एडब्ल्यूएस की सिफारिशों को दर्शाती है। सीएम नोड नोड्स, इंडेक्स, शार्ड्स और मैपिंग की संख्या के आधार पर काम करते हैं। जितना अधिक काम, उतनी अधिक संगणना और मेमोरी आपको होल्ड करने और क्लस्टर स्थिति के साथ काम करने की आवश्यकता है।

उदाहरण की गिनती	क्लस्टर प्रबंधक नोड रैम आकार	अधिकतम समर्थित शार्क गणना	अनुशंसित न्यूनतम समर्पित क्लस्टर प्रबंधक उदाहरण प्रकार
1 - 10	२.१ गिब	10,000	एम5.लार्ज.सर्च या एम6जी.लार्ज.सर्च
11 - 30	२.१ गिब	30,000	c5.2xlarge.search या c6g.2xlarge.search
31 - 75	२.१ गिब	40,000	c5.4xlarge.search या c6g.4xlarge.search
76 – 125	२.१ गिब	75,000	r5.2xlarge.search या r6g.2xlarge.search
126 – 200	२.१ गिब	75,000	r5.4xlarge.search या r6g.4xlarge.search

इंडेक्स और शार्ड्स

इंडेक्स एक तार्किक निर्माण है जिसमें दस्तावेजों का संग्रह होता है। आप एक प्राथमिक शार्ड काउंट निर्दिष्ट करके समानांतर प्रसंस्करण के लिए अपनी अनुक्रमणिका को विभाजित करते हैं, जहाँ शार्ड्स डेटा को संग्रहीत करने और संसाधित करने के लिए एक भौतिक इकाई का प्रतिनिधित्व करते हैं। OpenSearch सेवा में, एक शार्ड या तो एक प्राथमिक शार्ड या एक प्रतिकृति शार्ड हो सकता है। आप स्थायित्व के लिए प्रतिकृतियों का उपयोग करते हैं—यदि प्राथमिक शार्ड खो जाता है, तो OpenSearch सेवा प्रतिकृतियों में से एक को प्राथमिक—और खोज थ्रूपुट में सुधार के लिए बढ़ावा देती है। OpenSearch सेवा यह सुनिश्चित करती है कि यदि एक से अधिक उपलब्धता क्षेत्रों में तैनात किया जाता है, तो प्राथमिक और प्रतिकृति शार्ड्स को अलग-अलग नोड्स और विभिन्न उपलब्धता क्षेत्रों में रखा जाता है। उच्च उपलब्धता के लिए, AWS प्रदर्शन और उपलब्धता में व्यवधान से बचने के लिए तीन-ज़ोन सेटअप में प्रत्येक इंडेक्स के लिए कम से कम दो प्रतिकृतियां कॉन्फ़िगर करने की अनुशंसा करता है। मल्टी-एजेड सेटअप में, यदि कोई नोड विफल हो जाता है या दुर्लभ सबसे खराब स्थिति में उपलब्धता क्षेत्र विफल हो जाता है, तब भी आपके पास डेटा की एक प्रति होगी।

क्लस्टर निगरानी और प्रबंधन

जैसा कि पहले चर्चा की गई है, सर्वोत्तम अभ्यासों के आधार पर अपने कॉन्फ़िगरेशन का चयन करना केवल आधा कार्य है। डोमेन को स्केल करने की आवश्यकता है या नहीं यह निर्धारित करने के लिए हमें संसाधन उपयोग और प्रदर्शन की निरंतर निगरानी करने की भी आवश्यकता है। एक कम प्रावधान या अधिक उपयोग किए गए डोमेन के परिणामस्वरूप प्रदर्शन में गिरावट और अंततः अनुपलब्धता हो सकती है।

सीपीयू का उपयोग

आप अपने वर्कलोड को चलाने के लिए अपने डोमेन में CPU का उपयोग करते हैं। एक सामान्य नियम के रूप में, आपको किसी भी डेटा नोड के लिए 60% औसत CPU उपयोग को लक्षित करना चाहिए, 80% शिखर के साथ, और 100% तक छोटे स्पाइक्स को सहन करना चाहिए। जब आप उपलब्धता पर विचार करते हैं, और विशेष रूप से पूर्ण क्षेत्र की अनुपलब्धता पर विचार करते हैं, तो दो परिदृश्य होते हैं। यदि आपके पास दो उपलब्धता क्षेत्र हैं, तो प्रत्येक क्षेत्र 50% यातायात को संभालता है। यदि कोई ज़ोन अनुपलब्ध हो जाता है, तो दूसरा ज़ोन उस सभी ट्रैफ़िक को ले लेगा, CPU उपयोग को दोगुना कर देगा। उस स्थिति में, आपको उपलब्धता बनाए रखने के लिए प्रत्येक क्षेत्र में लगभग 30-40% औसत CPU उपयोग होना चाहिए। यदि आप तीन उपलब्धता क्षेत्र चला रहे हैं, तो प्रत्येक क्षेत्र 33% ट्रैफ़िक ले रहा है। यदि कोई क्षेत्र अनुपलब्ध हो जाता है, तो प्रत्येक दूसरे क्षेत्र को लगभग 17% यातायात प्राप्त होगा। इस मामले में, आपको 50-60% औसत CPU उपयोग को लक्षित करना चाहिए।

स्मृति उपयोग

OpenSearch सेवा दो प्रकार के कचरा संग्रह का समर्थन करती है। पहला G1 कचरा संग्रह (G1GC) है, जिसका उपयोग OpenSearch सेवा नोड्स द्वारा किया जाता है, जो इसके द्वारा संचालित होता है एडब्ल्यूएस ग्रेविटॉन 2. दूसरा समवर्ती मार्क स्वीप (CMS) है, जिसका उपयोग अन्य प्रोसेसर द्वारा संचालित सभी नोड्स द्वारा किया जाता है। एक नोड को आवंटित सभी मेमोरी में से आधी मेमोरी (32 जीबी तक) जावा हीप को सौंपी जाती है, और बाकी मेमोरी का उपयोग अन्य ऑपरेटिंग सिस्टम कार्यों, फ़ाइल सिस्टम कैश, और इसी तरह किया जाता है। एक डोमेन के लिए उपलब्धता बनाए रखने के लिए, हम CMS में अधिकतम JVM उपयोग को लगभग 80% और G95GC में 1% रखने की सलाह देते हैं। इससे परे कुछ भी आपके डोमेन की उपलब्धता को प्रभावित करेगा और आपके क्लस्टर को अस्वास्थ्यकर बना देगा। हम ऑटो-ट्यून को सक्षम करने की भी अनुशंसा करते हैं, जो स्मृति उपयोग पर सक्रिय रूप से नज़र रखता है और कचरा संग्राहक को ट्रिगर करता है।

भंडारण उपयोग

OpenSearch सेवा के लिए अनेक दिशानिर्देश प्रकाशित करती है डोमेन का आकार. हम एक अनुभवजन्य सूत्र प्रदान करते हैं ताकि आप अपनी आवश्यकताओं के लिए आवश्यक भंडारण की सही मात्रा निर्धारित कर सकें। हालांकि, समय के साथ भंडारण की कमी और वर्कलोड विशेषताओं में बदलाव के लिए नजर रखना महत्वपूर्ण है। यह सुनिश्चित करने के लिए कि डोमेन स्टोरेज से बाहर न हो जाए और डेटा को अनुक्रमित करना जारी रख सके, आपको कॉन्फ़िगर करना चाहिए अमेज़ॅन क्लाउडवॉच अलार्म और अपने निःशुल्क संग्रहण स्थान की निगरानी करें।

AWS प्राथमिक शार्ड काउंट चुनने की भी सिफारिश करता है ताकि प्रत्येक शार्ड एक इष्टतम आकार बैंड के भीतर हो। आप अपने डेटा और ट्रैफ़िक के साथ प्रूफ-ऑफ़-कॉन्सेप्ट परीक्षण के माध्यम से इष्टतम ठीकरा आकार निर्धारित कर सकते हैं। हम खोज उपयोग मामलों के लिए 10–30 जीबी प्राथमिक शार्क आकार और लॉग एनालिटिक्स उपयोग मामलों के लिए दिशानिर्देश के रूप में 45–50 जीबी प्राथमिक शार्क आकार का उपयोग करते हैं। क्योंकि शार्क आपके डोमेन के कार्यकर्ता हैं, वे डेटा नोड्स में वर्कलोड के वितरण के लिए सीधे जिम्मेदार हैं। यदि आपके शार्क बहुत बड़े हैं, तो आप अपने जावा हीप में बड़े एकत्रीकरण, खराब क्वेरी प्रदर्शन, और क्लस्टर-स्तरीय कार्यों जैसे शार्क पुनर्संतुलन, स्नैपशॉट और हॉट-टू-वार्म माइग्रेशन पर खराब प्रदर्शन से तनाव देख सकते हैं। यदि आपके शार्ड बहुत छोटे हैं, तो वे डोमेन के जावा हीप स्पेस को अभिभूत कर सकते हैं, अत्यधिक आंतरिक नेटवर्किंग के माध्यम से क्वेरी प्रदर्शन को खराब कर सकते हैं और क्लस्टर-स्तरीय कार्यों को धीमा कर सकते हैं। हम यह भी अनुशंसा करते हैं कि प्रति नोड शार्ड्स की संख्या उपलब्ध हीप के समानुपाती हो (32 जीबी तक इंस्टेंस रैम का आधा)—25 शार्ड्स प्रति जीबी जावा हीप। यह आपके डोमेन में किसी भी डेटा नोड पर 1,000 शार्क की व्यावहारिक सीमा बनाता है।

निष्कर्ष

इस पोस्ट में, आपने OpenSearch सेवा का उपयोग करके अत्यधिक उपलब्ध डोमेन सेट करने के लिए विभिन्न टिप्स और तरकीबें सीखीं, जो आपको OpenSearch सेवा को प्रदर्शनकारी बनाए रखने में मदद करती हैं और इसे तीन उपलब्धता क्षेत्रों में चलाकर उपलब्ध कराती हैं।

OpenSearch सेवा के साथ विभिन्न सुविधाओं और कार्यात्मकताओं पर ध्यान केंद्रित करने वाली पोस्ट की एक श्रृंखला के लिए बने रहें। यदि आपके पास इस पोस्ट के बारे में प्रतिक्रिया है, तो इसे टिप्पणी अनुभाग में सबमिट करें। यदि इस पोस्ट के बारे में आपके कोई प्रश्न हैं, तो इस पर एक नया सूत्र प्रारंभ करें ओपन सर्च सर्विस फोरम या संपर्क करें एडब्ल्यूएस समर्थन.

---

लेखक के बारे में

रोहिन भार्गव Amazon OpenSearch Service टीम के साथ एक वरिष्ठ उत्पाद प्रबंधक हैं। AWS में उनका जुनून ग्राहकों को उनके व्यावसायिक लक्ष्यों की सफलता प्राप्त करने के लिए AWS सेवाओं का सही मिश्रण खोजने में मदद करना है।

प्रशांत अग्रवाल Amazon OpenSearch सेवा के साथ एक वरिष्ठ खोज विशेषज्ञ समाधान वास्तुकार हैं। वह ग्राहकों के साथ मिलकर काम करते हैं ताकि उन्हें अपने वर्कलोड को क्लाउड पर माइग्रेट करने में मदद मिल सके और मौजूदा ग्राहकों को बेहतर प्रदर्शन हासिल करने और लागत बचाने के लिए अपने क्लस्टर को ठीक करने में मदद मिलती है। AWS में शामिल होने से पहले, उन्होंने विभिन्न ग्राहकों को उनकी खोज और लॉग एनालिटिक्स उपयोग मामलों के लिए OpenSearch और Elasticsearch का उपयोग करने में मदद की। जब वह काम नहीं कर रहा होता है, तो आप उसे यात्रा करते और नई जगहों की खोज करते हुए पा सकते हैं। संक्षेप में, वह ईट → ट्रैवल → रिपीट करना पसंद करता है।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोआईस्ट्रीम। Web3 डेटा इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• मिंटिंग द फ्यूचर डब्ल्यू एड्रिएन एशले। यहां पहुंचें।
• PREIPO® के साथ PRE-IPO कंपनियों में शेयर खरीदें और बेचें। यहां पहुंचें।
• स्रोत: https://aws.amazon.com/blogs/big-data/configure-amazon-opensearch-service-for-high-availability/