अमेज़न एमएसके कनेक्ट की एक विशेषता है Apache Kafka के लिए Amazon प्रबंधित स्ट्रीमिंग (अमेज़ॅन एमएसके) जो एडब्ल्यूएस पर पूरी तरह से प्रबंधित अपाचे काफ्का कनेक्ट वातावरण प्रदान करता है। एमएसके कनेक्ट के साथ, आप काफ्का कनेक्ट के लिए निर्मित पूरी तरह से प्रबंधित कनेक्टर तैनात कर सकते हैं जो अमेज़ॅन एस 3 और अमेज़ॅन ओपनसर्च सर्विस जैसे लोकप्रिय डेटा स्टोर में डेटा ले जाते हैं या डेटा खींचते हैं। के परिचय के साथ एमएसके कनेक्ट में निजी डीएनएस समर्थन, कनेक्टर्स ग्राहक वीपीसी डीएचसीपी विकल्प सेट में कॉन्फ़िगर किए गए अपने डीएनएस सर्वर का उपयोग करके निजी ग्राहक डोमेन नामों को हल करने में सक्षम हैं। यह पोस्ट MSK कनेक्ट के लिए ग्राहक VPC में परिभाषित निजी DNS होस्टनामों को हल करने के लिए एक समाधान प्रदर्शित करता है।
आप कई कारणों से MSK कनेक्ट के लिए निजी DNS होस्टनाम समर्थन का उपयोग करना चाह सकते हैं। MSK कनेक्ट के साथ शामिल निजी DNS रिज़ॉल्यूशन क्षमता से पहले, यह DNS रिज़ॉल्यूशन के लिए सेवा VPC DNS रिज़ॉल्वर का उपयोग करता था। MSK कनेक्ट ने DNS रिज़ॉल्यूशन के लिए ग्राहक VPC DHCP विकल्प सेट में परिभाषित निजी DNS सर्वर का उपयोग नहीं किया। कनेक्टर केवल कनेक्टर कॉन्फ़िगरेशन या प्लगइन में होस्टनामों को संदर्भित करने में सक्षम थे जो सार्वजनिक रूप से हल करने योग्य हैं और किसी निजी होस्टेड ज़ोन में परिभाषित निजी होस्टनामों को हल नहीं कर सकते थे या किसी अन्य ग्राहक नेटवर्क में DNS सर्वर का उपयोग नहीं कर सकते थे।
कई ग्राहक यह सुनिश्चित करते हैं कि उनके आंतरिक DNS एप्लिकेशन सार्वजनिक रूप से समाधान योग्य नहीं हैं। उदाहरण के लिए, आपके पास एक MySQL या PostgreSQL डेटाबेस हो सकता है और आप नहीं चाहेंगे कि आपके डेटाबेस का DNS नाम सार्वजनिक रूप से समाधान योग्य या पहुंच योग्य हो। अमेज़न रिलेशनल डेटाबेस सर्विस (अमेज़न आरडीएस) या अमेज़न अरोड़ा सर्वर में DNS नाम होते हैं जो सार्वजनिक रूप से हल करने योग्य होते हैं लेकिन पहुंच योग्य नहीं होते हैं। आपके पास कई आंतरिक अनुप्रयोग हो सकते हैं जैसे डेटाबेस, डेटा वेयरहाउस, या अन्य सिस्टम जहां DNS नाम सार्वजनिक रूप से हल करने योग्य नहीं हैं।
एमएसके कनेक्ट निजी डीएनएस समर्थन के हालिया लॉन्च के साथ, आप सार्वजनिक या निजी डोमेन नामों को संदर्भित करने के लिए कनेक्टर्स को कॉन्फ़िगर कर सकते हैं। डोमेन नामों को हल करने के लिए कनेक्टर आपके वीपीसी के डीएचसीपी विकल्प सेट में कॉन्फ़िगर किए गए डीएनएस सर्वर का उपयोग करते हैं। अब आप अपनी सुरक्षा आवश्यकताओं के अनुपालन के लिए अपने वीपीसी में डेटाबेस, डेटा वेयरहाउस और अन्य संसाधनों से निजी तौर पर जुड़ने के लिए एमएसके कनेक्ट का उपयोग कर सकते हैं।
यदि आपके पास निजी DNS के साथ एक MySQL या PostgreSQL डेटाबेस है, तो आप इसे एक कस्टम DNS सर्वर पर कॉन्फ़िगर कर सकते हैं और सेवा DNS का उपयोग करने के बजाय VPC के स्थानीय कस्टम DNS सर्वर का उपयोग करके DNS रिज़ॉल्यूशन करने के लिए VPC-विशिष्ट DHCP विकल्प सेट को कॉन्फ़िगर कर सकते हैं। संकल्प।
समाधान अवलोकन
एक ग्राहक के पास अपना एमएसके कनेक्ट स्थापित करने के लिए विभिन्न आर्किटेक्चर विकल्प हो सकते हैं। उदाहरण के लिए, उनके पास अमेज़ॅन एमएसके और एमएसके कनेक्ट एक ही वीपीसी या वीपीसी1 में स्रोत सिस्टम में हो सकते हैं और अमेज़ॅन एमएसके और एमएसके कनेक्ट वीपीसी2 या स्रोत सिस्टम में हैं, अमेज़ॅन एमएसके और एमएसके कनेक्ट सभी अलग-अलग वीपीसी में हैं।
निम्नलिखित सेटअप दो अलग-अलग VPC का उपयोग करता है, जहां MySQL VPC MySQL डेटाबेस को होस्ट करता है और MSK VPC अमेज़ॅन MSK, MSK कनेक्ट, DNS सर्वर और विभिन्न अन्य घटकों को होस्ट करता है। आप उपयुक्त का उपयोग करके अन्य परिनियोजन टोपोलॉजी का समर्थन करने के लिए इस आर्किटेक्चर का विस्तार कर सकते हैं AWS पहचान और अभिगम प्रबंधन (IAM) अनुमतियाँ और कनेक्टिविटी विकल्प।
यह पोस्ट MSK कनेक्ट स्थापित करने के लिए चरण-दर-चरण निर्देश प्रदान करता है जहां यह MySQL VPC में निजी DNS होस्टनाम के साथ स्रोत MySQL डेटाबेस से डेटा प्राप्त करेगा और दूसरे VPC में MSK कनेक्ट का उपयोग करके Amazon MSK को डेटा भेजेगा। निम्नलिखित चित्र उच्च-स्तरीय वास्तुकला को दर्शाता है।
सेटअप निर्देशों में निम्नलिखित मुख्य चरण शामिल हैं:
- वीपीसी, सबनेट और अन्य मुख्य बुनियादी ढांचे घटकों की स्थापना करें।
- DNS सर्वर को स्थापित और कॉन्फ़िगर करें।
- डेटा को MySQL डेटाबेस पर अपलोड करें।
- अमेज़ॅन एमएसके और एमएसके कनेक्ट को तैनात करें और परिवर्तन डेटा कैप्चर (सीडीसी) रिकॉर्ड का उपभोग करें।
.. पूर्वापेक्षाएँ
इस पोस्ट में ट्यूटोरियल का अनुसरण करने के लिए, आपको निम्नलिखित की आवश्यकता है:
AWS CloudFormation का उपयोग करके आवश्यक आधारभूत संरचना बनाएँ
एमएसके कनेक्ट को कॉन्फ़िगर करने से पहले, हमें वीपीसी, सबनेट और अन्य मुख्य बुनियादी ढांचे घटकों को स्थापित करने की आवश्यकता है। अपने AWS खाते में संसाधन स्थापित करने के लिए, निम्नलिखित चरणों को पूरा करें:
- चुनें स्टैक लॉन्च करें अमेज़ॅन एमएसके और एमएसके कनेक्ट का समर्थन करने वाले क्षेत्र में स्टैक लॉन्च करने के लिए।
- वह निजी कुंजी निर्दिष्ट करें जिसका उपयोग आप EC2 इंस्टेंसेस से कनेक्ट करने के लिए करते हैं।
- अपने स्थानीय आईपी पते के साथ एसएसएच स्थान को अपडेट करें और अन्य मानों को डिफ़ॉल्ट के रूप में रखें।
- चुनें अगला.
- अंतिम पृष्ठ पर विवरण की समीक्षा करें और चुनें मैं स्वीकार करता हूं कि AWS CloudFormation IAM संसाधन बना सकता है.
- चुनें स्टैक बनाएँ और आवश्यक संसाधनों के तैयार होने की प्रतीक्षा करें।
क्लाउडफ़ॉर्मेशन टेम्प्लेट आपके खाते में निम्नलिखित प्रमुख संसाधन बनाता है:
- वीपीसी:
- एमएसके वीपीसी
- MySQL वीपीसी
- MSK VPC में सबनेट:
- अमेज़ॅन एमएसके के लिए तीन निजी सबनेट
- DNS सर्वर के लिए निजी सबनेट
- MSKClient के लिए निजी सबनेट
- बैस्टियन होस्ट के लिए सार्वजनिक सबनेट
- MySQL VPC में सबनेट:
- MySQL डेटाबेस के लिए निजी सबनेट
- बैस्टियन होस्ट के लिए सार्वजनिक सबनेट
- इंटरनेट गेटवे MySQL VPC और MSK VPC से जुड़ा हुआ है
- NAT गेटवे MySQL पब्लिक सबनेट और MSK पब्लिक सबनेट से जुड़े हुए हैं
- वीपीसी और वीपीसी में विभिन्न सबनेट के बीच यातायात प्रवाह का समर्थन करने के लिए रूट टेबल
- MySQL VPC और MSK VPC के बीच पियरिंग कनेक्शन
- MySQL डेटाबेस और कॉन्फ़िगरेशन
- डीएनएस सर्वर
- संबंधित पुस्तकालयों के साथ एमएसके क्लाइंट
कृपया ध्यान दें, यदि आप वीपीसी पियरिंग या का उपयोग कर रहे हैं एडब्ल्यूएस ट्रांजिट गेटवे एमएसके कनेक्ट के साथ, सीआईडीआर रेंज में आईपी के साथ समकक्ष वीपीसी संसाधनों तक पहुंचने के लिए अपने कनेक्टर को कॉन्फ़िगर न करें। अधिक जानकारी के लिए देखें कनेक्टर्स से कनेक्ट करना.
DNS सर्वर कॉन्फ़िगर करें
DNS सर्वर को कॉन्फ़िगर करने के लिए निम्नलिखित चरणों को पूरा करें:
- DNS सर्वर से कनेक्ट करें. के अंतर्गत DNS सर्वर पर तीन कॉन्फ़िगरेशन फ़ाइलें उपलब्ध हैं
/home/ec2-user
फ़ोल्डर:named.conf
mysql.internal.zone
kafka.us-east-1.amazonaws.com.zone
- अपने DNS सर्वर को स्थापित और कॉन्फ़िगर करने के लिए निम्नलिखित कमांड चलाएँ:
- अपडेट
/etc/named.conf
.
अनुमति-स्थानांतरण विशेषता के लिए, अनुमति-स्थानांतरण के लिए DNS सर्वर आंतरिक आईपी पते को अपडेट करें
{ localhost; <DNS Server internal IP address>; };.
आप क्लाउडफ़ॉर्मेशन टेम्पलेट पर DNS सर्वर आईपी पता पा सकते हैं आउटपुट टैब.
नोट कि MSK क्लस्टर अभी भी इस स्तर पर स्थापित नहीं हुआ है। हमें काफ्का ब्रोकर डीएनएस नाम और उनके संबंधित आंतरिक आईपी पते को अपडेट करने की आवश्यकता है /var/named/kafka.region.amazonaws.com
इस पोस्ट में बाद में MSK क्लस्टर स्थापित करने के बाद कॉन्फ़िगरेशन फ़ाइल। निर्देशों के लिए, यहां देखें।
यह भी ध्यान दें कि ये सेटिंग्स इस पोस्ट के लिए DNS सर्वर को कॉन्फ़िगर करती हैं। अपने स्वयं के वातावरण में, आप अपनी आवश्यकताओं के अनुसार DNS सर्वर को कॉन्फ़िगर कर सकते हैं।
- DNS सेवा पुनः आरंभ करें:
आपको निम्न संदेश देखना चाहिए:
डेटा को MySQL डेटाबेस पर अपलोड करें
आमतौर पर, हम एक का उपयोग कर सकते हैं MySQL के लिए अमेज़न आरडीएस डेटाबेस, लेकिन इस पोस्ट के लिए, हम कस्टम MySQL डेटाबेस सर्वर का उपयोग करते हैं। अमेज़ॅन आरडीएस डीएनएस सार्वजनिक रूप से सुलभ है और एमएसके कनेक्ट इसका समर्थन करता है, लेकिन यह अतीत में निजी डीएनएस के साथ डेटाबेस या एप्लिकेशन का समर्थन करने में सक्षम नहीं था। नवीनतम के साथ निजी DNS होस्टनाम फीचर लॉन्च, यह एप्लिकेशन के निजी DNS को भी सपोर्ट कर सकता है, इसलिए हम EC2 इंस्टेंस पर MySQL डेटाबेस का उपयोग करते हैं।
यह इंस्टॉलेशन एकल-नोड EC2 इंस्टेंस पर MySQL डेटाबेस की स्थापना के बारे में जानकारी प्रदान करता है। इसका उपयोग आपके उत्पादन सेटअप के लिए नहीं किया जाना चाहिए. आपको अपने खाते में MySQL की स्थापना और कॉन्फ़िगर करने के लिए उचित मार्गदर्शन का पालन करना चाहिए।
MySQL डेटाबेस पहले से ही CloudFormation टेम्पलेट का उपयोग करके सेट किया गया है और अब उपयोग के लिए तैयार है। डेटा अपलोड करने के लिए, निम्नलिखित चरणों को पूरा करें:
- MySQL EC2 उदाहरण के लिए SSH। निर्देशों के लिए, देखें अपने लिनक्स इंस्टेंस से कनेक्ट करें. डेटा फ़ाइल
salesdb.sql
पहले से ही डाउनलोड किया गया है और के अंतर्गत उपलब्ध है/home/ec2-user
निर्देशिका. - उपयोगकर्ता नाम मास्टर के साथ mysqldb में लॉग इन करें।
- पासवर्ड तक पहुंचने के लिए, नेविगेट करें एडब्ल्यूएस सिस्टम मैनेजर और पैरामीटर स्टोर टैब। चुनते हैं /डेटाबेस/क्रेडेंशियल्स/मास्टर और पर क्लिक करें विवरण देखें और कुंजी के लिए मान कॉपी करें।
- निम्न आदेश का उपयोग करके MySQL में लॉग इन करें:
- बनाने के लिए निम्नलिखित कमांड चलाएँ
salesdb
डेटाबेस बनाएं और डेटा को तालिका में लोड करें:
यह विभिन्न विभिन्न तालिकाओं में रिकॉर्ड सम्मिलित करेगा salesdb
डेटाबेस।
- निम्न तालिकाएँ देखने के लिए शो टेबल चलाएँ
salesdb
:
एक डीएचसीपी विकल्प सेट बनाएं
डीएचसीपी विकल्प सेट आपको अपने वर्चुअल नेटवर्क में रूटिंग के निम्नलिखित पहलुओं पर नियंत्रण प्रदान करते हैं:
- आप अपने वीपीसी में उपकरणों द्वारा उपयोग किए जाने वाले डीएनएस सर्वर, डोमेन नाम या नेटवर्क टाइम प्रोटोकॉल (एनटीपी) सर्वर को नियंत्रित कर सकते हैं।
- आप अपने वीपीसी में डीएनएस रिज़ॉल्यूशन को पूरी तरह से अक्षम कर सकते हैं।
निजी DNS का समर्थन करने के लिए, आप इसका उपयोग कर सकते हैं अमेज़ॅन रूट 53 निजी क्षेत्र या आपका अपना कस्टम DNS सर्वर। यदि आप रूट 53 निजी क्षेत्र का उपयोग करते हैं, तो सेटअप स्वचालित रूप से काम करेगा और एमएसके वीपीसी के लिए निर्धारित डिफ़ॉल्ट डीएचसीपी विकल्प में कोई बदलाव करने की आवश्यकता नहीं है। कस्टम DNS सर्वर के लिए, कस्टम DHCP कॉन्फ़िगरेशन का उपयोग करके सेट करने के लिए निम्नलिखित चरणों को पूरा करें अमेज़ॅन वर्चुअल प्राइवेट क्लाउड (अमेज़ॅन वीपीसी) और इसे एमएसके वीपीसी से जोड़ें।
आपके वीपीसी में अमेज़ॅन द्वारा प्रदान किए गए डीएनएस सर्वर से जुड़ा एक डिफ़ॉल्ट डीएचसीपी विकल्प सेट होगा। इस स्तर पर, अनुरोध समाधान के लिए अमेज़ॅन द्वारा प्रदान किए गए DNS सर्वर पर जाएंगे। हालाँकि, हम एक नया डीएचसीपी विकल्प सेट बनाते हैं क्योंकि हम एक कस्टम डीएनएस सर्वर का उपयोग कर रहे हैं।
- Amazon VPC कंसोल पर, चुनें डीएचसीपी विकल्प सेट नेविगेशन फलक में
- चुनें डीएचसीपी विकल्प सेट बनाएं.
- के लिए डीएचसीपी विकल्प सेट नाम, दर्ज
MSKConnect_Private_DHCP_OptionSet
. - के लिए डोमेन नाम, दर्ज
mysql.internal
. - के लिए डोमेन नाम सर्वर, DNS सर्वर IP पता दर्ज करें।
- चुनें डीएचसीपी विकल्प सेट बनाएं.
- पर नेविगेट करें एमएसके वीपीसी और पर क्रियाएँ मेनू, चुनें वीपीसी सेटिंग्स संपादित करें.
- नव निर्मित डीएचसीपी विकल्प सेट का चयन करें और इसे सहेजें।
निम्नलिखित स्क्रीनशॉट उदाहरण कॉन्फ़िगरेशन दिखाता है। - Amazon EC2 कंसोल पर, नेविगेट करें
privateDNS_bastion_host
. - चुनें उदाहरण स्थिति और रिबूट उदाहरण.
- कुछ मिनट रुकें और फिर दौड़ें
nslookup
गढ़ मेज़बान से; इसे रूट 53 के बजाय आपके स्थानीय DNS सर्वर का उपयोग करके इसे हल करने में सक्षम होना चाहिए:
अब हमारा बेस इंफ्रास्ट्रक्चर सेटअप अगले चरण में जाने के लिए तैयार है। हमारे बुनियादी ढांचे के हिस्से के रूप में, हमने निम्नलिखित प्रमुख घटकों को सफलतापूर्वक स्थापित किया है:
- MSK और MySQL VPCs
- सबनेट
- EC2 उदाहरण
- वीपीसी पियरिंग
- रूट टेबल
- NAT गेटवे और इंटरनेट गेटवे
- डीएनएस सर्वर और कॉन्फ़िगरेशन
- उपयुक्त सुरक्षा समूह और एनएसीएल
- आवश्यक डेटा के साथ MySQL डेटाबेस
इस स्तर पर, MySQL DB DNS नाम रूट 53 के बजाय एक कस्टम DNS सर्वर का उपयोग करके हल किया जा सकता है।
MSK क्लस्टर और MSK कनेक्ट सेट करें
अगला कदम एमएसके क्लस्टर और एमएसके कनेक्ट को तैनात करना है, जो रिकॉर्ड लाएगा salesdb
और इसे एक को भेजें अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3) बाल्टी। इस अनुभाग में, हम MySQL डेटाबेस की प्रतिकृति बनाने का एक पूर्वाभ्यास प्रदान करते हैं (salesdb
) अमेज़न MSK का उपयोग करने के लिए डेबेज़ियम, एक ओपन-सोर्स कनेक्टर। कनेक्टर डेटाबेस में किसी भी बदलाव की निगरानी करेगा और तालिकाओं में किसी भी बदलाव को कैप्चर करेगा।
एमएसके कनेक्ट के साथ, आप एडब्ल्यूएस पर पूरी तरह से प्रबंधित अपाचे काफ्का कनेक्ट वर्कलोड चला सकते हैं। एमएसके कनेक्ट आवश्यक संसाधनों का प्रावधान करता है और क्लस्टर स्थापित करता है। यह लगातार कनेक्टर्स के स्वास्थ्य और वितरण स्थिति की निगरानी करता है, अंतर्निहित हार्डवेयर को पैच करता है और प्रबंधित करता है, और थ्रूपुट में परिवर्तनों से मेल खाने के लिए कनेक्टर्स को ऑटो स्केल करता है। परिणामस्वरूप, आप अपने संसाधनों को बुनियादी ढांचे के प्रबंधन के बजाय अनुप्रयोगों के निर्माण पर केंद्रित कर सकते हैं।
एमएसके कनेक्ट वीपीसी में कस्टम डीएनएस सर्वर का उपयोग करेगा और यह रूट 53 पर निर्भर नहीं होगा।
एक MSK क्लस्टर कॉन्फ़िगरेशन बनाएँ
MSK क्लस्टर बनाने के लिए निम्नलिखित चरणों को पूरा करें:
- Amazon MSK कंसोल पर, चुनें क्लस्टर विन्यास के अंतर्गत एमएसके क्लस्टर नेविगेशन फलक में
- चुनें कॉन्फ़िगरेशन बनाएँ.
- कॉन्फ़िगरेशन को नाम दें
mskc-tutorial-cluster-configuration
. - के अंतर्गत कॉन्फ़िगरेशन गुण, सब कुछ हटा दें और लाइन जोड़ें
auto.create.topics.enable=true
. - चुनें बनाएं.
एक MSK क्लस्टर बनाएं और कॉन्फ़िगरेशन संलग्न करें
अगले चरण में, हम इस कॉन्फ़िगरेशन को एक क्लस्टर से जोड़ते हैं। निम्नलिखित चरणों को पूरा करें:
- Amazon MSK कंसोल पर, चुनें क्लस्टर के अंतर्गत एमएसके क्लस्टर नेविगेशन फलक में
- चुनें क्लस्टर बनाएं और कस्टम निर्माण.
- क्लस्टर नाम के लिए, दर्ज करें
mkc-tutorial-cluster
. - के अंतर्गत सामान्य क्लस्टर गुण, चुनें प्रावधान किए गए क्लस्टर प्रकार के लिए और Apache Kafka डिफ़ॉल्ट संस्करण 2.8.1 का उपयोग करें।
- के लिए सभी डिफ़ॉल्ट विकल्पों का उपयोग करें दलाल और भंडारण वर्गों.
- के अंतर्गत विन्यास, चुनें कस्टम कॉन्फ़िगरेशन.
- चुनते हैं
mskc-tutorial-cluster-configuration
उचित संशोधन के साथ और चुनें अगला. - के अंतर्गत शुद्ध कार्यशील, एमएसके वीपीसी चुनें।
- अपने क्षेत्र के आधार पर उपलब्धता क्षेत्र का चयन करें, जैसे
us-east1a
,us-east1b
, तथाus-east1c
, और संबंधित निजी सबनेटMSK-Private-1
,MSK-Private-2
, तथाMSK-Private-3
अगर आप में हैंus-east-1
क्षेत्र। इन दलालों तक सार्वजनिक पहुंच बंद होनी चाहिए। - सुरक्षा समूह आईडी की प्रतिलिपि बनाएँ चयनित सुरक्षा समूह.
- चुनें अगला.
- के अंतर्गत अभिगम नियंत्रण विधियाँ, चयन IAM भूमिका-आधारित प्रमाणीकरण.
- में कूटलेखन अनुभाग के तहत, ग्राहकों और दलालों के बीच, टीएलएस एन्क्रिप्शन डिफ़ॉल्ट रूप से चयनित किया जाएगा.
- के लिए Encrypt डेटा विश्राम पर है, चुनते हैं AWS प्रबंधित कुंजी का उपयोग करें.
- के लिए डिफ़ॉल्ट विकल्पों का उपयोग करें निगरानी का चयन करें और बुनियादी निगरानी.
- चुनते हैं Amazon CloudWatch लॉग्स को डिलीवर करें.
- के अंतर्गत लॉग समूह, चुनें Amazon CloudWatch लॉग्स कंसोल पर जाएं.
- चुनें लॉग समूह बनाएँ.
- लॉग समूह नाम दर्ज करें और चुनें बनाएं.
- इस पर लौटे निगरानी और टैग पेज और नीचे लॉग समूह, चुनें लॉग समूह चुनें
- चुनें अगला.
- कॉन्फ़िगरेशन की समीक्षा करें और चुनें क्लस्टर बनाएं. आपको क्लस्टर के विवरण पृष्ठ पर पुनः निर्देशित किया गया है।
- के अंतर्गत सुरक्षा समूह लागू, बाद के चरण में उपयोग करने के लिए सुरक्षा समूह आईडी नोट करें।
क्लस्टर निर्माण में आमतौर पर 25-30 मिनट लग सकते हैं। सफलतापूर्वक बन जाने पर इसकी स्थिति सक्रिय में बदल जाती है।
/var/named/kafka.region.amazonaws.com ज़ोन फ़ाइल को अपडेट करें
MSK कनेक्टर बनाने से पहले, MSK क्लस्टर विवरण के साथ DNS सर्वर कॉन्फ़िगरेशन को अपडेट करें।
- बूटस्ट्रैप सर्वर डीएनएस और संबंधित आईपी पते की सूची प्राप्त करने के लिए, क्लस्टर पर जाएँ और चुनें ग्राहक जानकारी देखें.
- IAM प्रमाणीकरण प्रकार के साथ बूटस्ट्रैप सर्वर जानकारी की प्रतिलिपि बनाएँ।
- आप ब्रोकर आईपी पते का उपयोग करके पहचान कर सकते हैं
nslookup
आपकी स्थानीय मशीन से और यह आपको ब्रोकर का स्थानीय आईपी पता प्रदान करेगा। वर्तमान में, आपका वीपीसी नवीनतम डीएचसीपी विकल्प सेट की ओर इशारा करता है और आपका डीएनएस सर्वर आपके वीपीसी से इन डीएनएस नामों को हल करने में सक्षम नहीं होगा।
अब आप DNS सर्वर में लॉग इन कर सकते हैं और विभिन्न ब्रोकरों और संबंधित आईपी पतों के रिकॉर्ड अपडेट कर सकते हैं /var/named/kafka.region.amazonaws.com
फ़ाइल.
- अपलोड करें
msk-access.pem
फ़ाइलBastionHostInstance
आपकी स्थानीय मशीन से: - DNS सर्वर में लॉग इन करें और खोलें
/var/named/kafka.region.amazonaws.com
फ़ाइल करें और निम्नलिखित पंक्तियों को सही MSK ब्रोकर DNS नामों और संबंधित IP पतों के साथ अद्यतन करें:
ध्यान दें कि आपको ब्रोकर डीएनएस प्रदान करना होगा जैसा कि पहले बताया गया है। निकालना .kafka.<region id>.amazonaws.com
ब्रोकर DNS नाम से.
- DNS सेवा पुनः आरंभ करें:
आपको निम्न संदेश देखना चाहिए:
आपका कस्टम DNS सर्वर अब चालू है और चल रहा है और आपको आंतरिक DNS सर्वर का उपयोग करके ब्रोकर DNS नामों का समाधान करने में सक्षम होना चाहिए।
MySQL डेटाबेस और MSK कनेक्ट के बीच कनेक्टिविटी के लिए सुरक्षा समूह को अपडेट करें
MSK कनेक्ट और MySQL डेटाबेस के बीच उचित कनेक्टिविटी होना महत्वपूर्ण है। निम्नलिखित चरणों को पूरा करें:
- अमेज़ॅन एमएसके कंसोल पर, एमएसके क्लस्टर और उसके नीचे नेविगेट करें नेटवर्क सेटिंग्स, सुरक्षा समूह की प्रतिलिपि बनाएँ।
- Amazon EC2 कंसोल पर, चुनें सुरक्षा समूह नेविगेशन फलक में
- सुरक्षा समूह संपादित करें
MySQL_SG
और चुनें नियम जोड़ें. - प्रकार के रूप में MySQL/Aurora और इसके स्रोत के लिए इनबाउंड संसाधन के रूप में MSK सुरक्षा समूह के साथ एक नियम जोड़ें।
- चुनें नियम सहेजें.
MSK कनेक्टर बनाएं
अपना MSK कनेक्टर बनाने के लिए, निम्नलिखित चरणों को पूरा करें:
- Amazon MSK कंसोल पर, चुनें कनेक्टर्स के अंतर्गत एमएसके कनेक्ट नेविगेशन फलक में
- चुनें कनेक्टर बनाएँ.
- चुनते हैं कस्टम प्लगइन बनाएं.
- नवीनतम स्थिर रिलीज़ के लिए MySQL कनेक्टर प्लगइन डाउनलोड करें डेबेज़ियम साइट या डाउनलोड डेबेज़ियम.ज़िप.
- MySQL कनेक्टर ज़िप फ़ाइल को S3 बकेट में अपलोड करें।
- फ़ाइल के लिए यूआरएल कॉपी करें, जैसे
s3://<bucket name>/Debezium.zip
. - इस पर लौटे कस्टम प्लगइन चुनें पृष्ठ और S3 फ़ाइल पथ दर्ज करें एस३ यूआरआई.
- के लिए कस्टम प्लगइन नाम, दर्ज
mysql-plugin
. - चुनें अगला.
- के लिए नाम, दर्ज
mysql-connector
. - के लिए Description, कनेक्टर का विवरण दर्ज करें।
- के लिए क्लस्टर प्रकार, चुनें एमएसके क्लस्टर.
- सूची से मौजूदा क्लस्टर का चयन करें (इस पोस्ट के लिए,
mkc-tutorial-cluster
). - प्रमाणीकरण प्रकार को इस प्रकार निर्दिष्ट करें आई ए एम.
- के लिए निम्नलिखित मानों का उपयोग करें कनेक्टर कॉन्फ़िगरेशन:
- निम्नलिखित कनेक्टर कॉन्फ़िगरेशन को अद्यतन करें:
- के लिए क्षमता प्रकार, चुनें प्रावधान किए गए.
- के लिए प्रति कर्मचारी एमसीयू गणना, 1 दर्ज करें।
- के लिए श्रमिकों की संख्या, 1 दर्ज करें।
- चुनते हैं MSK डिफ़ॉल्ट कॉन्फ़िगरेशन का उपयोग करें.
- में पहुँच अनुमतियाँ अनुभाग, पर सेवा भूमिका चुनें मेनू, चुनें
MSK-Connect-PrivateDNS-MySQLConnector*
, उसके बाद चुनो अगला. - में सुरक्षा अनुभाग, डिफ़ॉल्ट सेटिंग्स रखें।
- में Logs अनुभाग चुनें अमेज़ॅन क्लाउडवॉच लॉग वितरित करें.
- चुनें Amazon CloudWatch लॉग्स कंसोल पर जाएं.
- के अंतर्गत Logs नेविगेशन फलक में, चुनें लॉग समूह.
- चुनें लॉग समूह बनाएँ.
- लॉग समूह का नाम, अवधारण सेटिंग्स और टैग दर्ज करें, फिर चुनें बनाएं.
- कनेक्टर निर्माण पृष्ठ पर लौटें और चुनें लॉग समूह ब्राउज़ करें.
- चुनना
AmazonMSKConnect
समूह लॉग करें, फिर चुनें अगला. - कॉन्फ़िगरेशन की समीक्षा करें और चुनें कनेक्टर बनाएँ.
कनेक्टर निर्माण प्रक्रिया पूरी होने तक प्रतीक्षा करें (लगभग 10-15 मिनट)।
MSK कनेक्ट कनेक्टर अब चालू है और चल रहा है। आप अपनी उपयोगकर्ता आईडी का उपयोग करके MySQL डेटाबेस में लॉग इन कर सकते हैं और ग्राहक तालिका रिकॉर्ड में कुछ रिकॉर्ड परिवर्तन कर सकते हैं। एमएसके कनेक्ट सीडीसी रिकॉर्ड प्राप्त करने में सक्षम होगा और डेटाबेस के अपडेट एमएसके में उपलब्ध होंगे विषय।
MSK विषय से संदेशों का उपभोग करें
MSK विषय से संदेशों का उपभोग करने के लिए, काफ्का उपभोक्ता को चलाएँ MSK_Client
EC2 उदाहरण MSK VPC में उपलब्ध है।
- एसएसएच को
MSK_Client
EC2 उदाहरण.MSK_Client
इंस्टेंस में आवश्यक काफ्का क्लाइंट लाइब्रेरी, अमेज़ॅन एमएसके आईएएम जार फ़ाइल है,client.properties
फ़ाइल, और क्लाउडफ़ॉर्मेशन टेम्पलेट का उपयोग करके उपयुक्त IAM भूमिका के साथ उससे जुड़ी एक इंस्टेंस प्रोफ़ाइल। - जोड़ें
MSKClientSG
निम्नलिखित गुणों के साथ MSK सुरक्षा समूह के स्रोत के रूप में सुरक्षा समूह:- के लिए प्रकार, चुनें सभी ट्रैफ़िक.
- के लिए स्रोत, चुनें कस्टम और एमएसके सुरक्षा समूह.
अब आप डेटा उपभोग करने के लिए तैयार हैं।
- विषयों को सूचीबद्ध करने के लिए, निम्नलिखित कमांड चलाएँ:
- से डेटा उपभोग करने के लिए
salesdb-server.salesdb.CUSTOMER
विषय, निम्न आदेश का उपयोग करें:
अपनी EC2 मशीन पर काफ्का उपभोक्ता चलाएँ और आप निम्नलिखित के समान संदेश लॉग करने में सक्षम होंगे:
एप्लिकेशन का परीक्षण करते समय, CUST_ID 1998, 1999 और 2000 वाले रिकॉर्ड अपडेट किए गए थे, और ये रिकॉर्ड लॉग में उपलब्ध हैं।
क्लीन अप
किसी भी अतिरिक्त लागत से बचने के लिए इस पोस्ट के हिस्से के रूप में बनाए गए सभी संसाधनों को साफ करना हमेशा एक अच्छा अभ्यास है। अपने संसाधनों को साफ़ करने के लिए, MSK क्लस्टर, MSK कनेक्ट कनेक्शन, EC2 इंस्टेंसेस, DNS सर्वर, बैस्टियन होस्ट, S3 बकेट, VPC, सबनेट और क्लाउडवॉच लॉग हटाएँ।
इसके अतिरिक्त, AWS CloudFormation का उपयोग करके आपके द्वारा बनाए गए अन्य सभी AWS संसाधनों को साफ़ करें। आप स्टैक को हटाकर इन संसाधनों को AWS क्लाउडफॉर्मेशन कंसोल पर हटा सकते हैं।
निष्कर्ष
इस पोस्ट में, हमने निजी DNS का उपयोग करके MSK कनेक्ट स्थापित करने की प्रक्रिया पर चर्चा की। यह सुविधा आपको सार्वजनिक या निजी डोमेन नामों को संदर्भित करने के लिए कनेक्टर्स को कॉन्फ़िगर करने की अनुमति देती है।
हम एक अलग वीपीसी में होस्ट किए गए MySQL डेटाबेस से प्रारंभिक लोड और सीडीसी रिकॉर्ड प्राप्त करने में सक्षम हैं और इसका DNS बाहरी रूप से पहुंच योग्य या हल करने योग्य नहीं है। MSK कनेक्ट MySQL डेटाबेस से कनेक्ट करने और MSK कनेक्ट निजी DNS सुविधा का उपयोग करके रिकॉर्ड का उपभोग करने में सक्षम था। कस्टम डीएचसीपी विकल्प सेट वीपीसी से जुड़ा हुआ था, जिसने सुनिश्चित किया कि रूट 53 के बजाय स्थानीय डीएनएस सर्वर का उपयोग करके डीएनएस रिज़ॉल्यूशन किया गया था।
एमएसके कनेक्ट निजी डीएनएस समर्थन सुविधा के साथ, आप अपने डेटाबेस, डेटा वेयरहाउस और सिस्टम को गुप्त प्रबंधकों की तरह बना सकते हैं जो आपके स्वयं के वीपीसी के साथ इंटरनेट तक पहुंच योग्य नहीं हैं और इस सीमा को पार करने और आपकी कॉर्पोरेट सुरक्षा स्थिति का अनुपालन करने में सक्षम हैं।
अधिक जानने और आरंभ करने के लिए, देखें एमएसके कनेक्ट के लिए निजी डीएनएस.
लेखक के बारे में
अमर यूके में अमेज़ॅन एडब्ल्यूएस में एक वरिष्ठ समाधान वास्तुकार हैं। वह बिजली, उपयोगिताओं, विनिर्माण और ऑटोमोटिव ग्राहकों के लिए रणनीतिक कार्यान्वयन पर काम करता है, और इष्टतम व्यावसायिक परिणाम प्राप्त करने के लिए एडब्ल्यूएस स्ट्रीमिंग और उन्नत डेटा एनालिटिक्स समाधानों का उपयोग करने में विशेषज्ञता रखता है।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/big-data/resolve-private-dns-hostnames-for-amazon-msk-connect/
- :हैस
- :है
- :नहीं
- :कहाँ
- $यूपी
- 1
- 14
- 160
- 1998
- 1999
- 2000
- 53
- 7
- 73
- 8
- 9
- a
- योग्य
- About
- पहुँच
- सुलभ
- लेखा
- स्वीकार करना
- के पार
- सक्रिय
- जोड़ना
- अतिरिक्त
- पता
- पतों
- उन्नत
- बाद
- सब
- की अनुमति देता है
- साथ में
- पहले ही
- हमेशा
- वीरांगना
- अमेज़ॅन EC2
- अमेज़ॅन आरडीएस
- अमेज़ॅन वेब सेवा
- an
- विश्लेषिकी
- और
- अन्य
- कोई
- अपाचे
- अपाचे काफ्का
- आवेदन
- अनुप्रयोगों
- उपयुक्त
- स्थापत्य
- हैं
- AS
- पहलुओं
- At
- संलग्न करना
- Auth
- प्रमाणीकरण
- स्वत:
- स्वतः
- मोटर वाहन
- उपलब्धता
- उपलब्ध
- से बचने
- एडब्ल्यूएस
- एडब्ल्यूएस CloudFormation
- आधार
- BE
- क्योंकि
- से पहले
- के बीच
- बाँध
- जूते का फीता
- दलाल
- दलालों
- इमारत
- बनाया गया
- व्यापार
- लेकिन
- by
- कर सकते हैं
- क्षमता
- कब्जा
- सीडीसी
- परिवर्तन
- परिवर्तन
- चुनें
- क्लिक करें
- ग्राहक
- ग्राहकों
- समूह
- COM
- पूरा
- पूरी तरह से
- पालन करना
- घटकों
- विन्यास
- कॉन्फ़िगर किया गया
- जुडिये
- संबंध
- कनेक्टिविटी
- कंसोल
- उपभोग
- उपभोक्ता
- लगातार
- नियंत्रण
- मूल
- कॉर्पोरेट
- सही
- लागत
- युगल
- बनाना
- बनाया
- बनाता है
- निर्माण
- वर्तमान में
- रिवाज
- ग्राहक
- ग्राहक
- तिथि
- डेटा विश्लेषण
- डेटा वेयरहाउस
- डाटाबेस
- डेटाबेस
- चूक
- परिभाषित
- प्रसव
- दर्शाता
- निर्भर
- निर्भर करता है
- तैनात
- तैनाती
- विवरण
- विवरण
- डिवाइस
- विभिन्न
- चर्चा की
- DNS
- do
- डोमेन
- कार्यक्षेत्र नाम
- dont
- डाउनलोड
- ड्राइव
- पूर्व
- भी
- सुनिश्चित
- यह सुनिश्चित किया
- दर्ज
- वातावरण
- ईथर (ईटीएच)
- सब कुछ
- उदाहरण
- मौजूदा
- विस्तार
- बाहर से
- Feature
- कुछ
- पट्टिका
- फ़ाइलें
- अंतिम
- खोज
- प्रवाह
- फोकस
- का पालन करें
- निम्नलिखित
- के लिए
- से
- पूरी तरह से
- प्रवेश द्वार
- मिल
- देना
- Go
- अच्छा
- समूह
- समूह की
- मार्गदर्शन
- हार्डवेयर
- है
- he
- स्वास्थ्य
- यहाँ उत्पन्न करें
- उच्च स्तर
- इतिहास
- मेजबान
- मेजबानी
- मेजबान
- तथापि
- एचटीएमएल
- http
- HTTPS
- आई ए एम
- ID
- पहचान करना
- पहचान
- if
- दिखाता है
- कार्यान्वयन
- महत्वपूर्ण
- in
- दुर्गम
- शामिल
- शामिल
- करें-
- इंफ्रास्ट्रक्चर
- प्रारंभिक
- स्थापित
- स्थापना
- उदाहरण
- उदाहरणों
- बजाय
- निर्देश
- आंतरिक
- इंटरनेट
- में
- परिचय
- IP
- आईपी एड्रेस
- आईपी पतों
- IT
- आईटी इस
- जेपीजी
- काफ्का
- रखना
- कुंजी
- बाद में
- ताज़ा
- लांच
- जानें
- पुस्तकालयों
- पसंद
- सीमा
- लाइन
- पंक्तियां
- लिनक्स
- सूची
- भार
- स्थानीय
- स्थान
- लॉग इन
- मशीन
- बनाना
- कामयाब
- प्रबंधक
- प्रबंधक
- प्रबंधन करता है
- प्रबंध
- विनिर्माण
- मास्टर
- मैच
- मई..
- उल्लेख किया
- मेन्यू
- message
- संदेश
- तरीकों
- हो सकता है
- मिनट
- मॉनिटर
- पर नज़र रखता है
- अधिक
- चाल
- विभिन्न
- MySQL
- नाम
- नामांकित
- नामों
- नेविगेट करें
- पथ प्रदर्शन
- आवश्यकता
- की जरूरत है
- नेटवर्क
- नया
- नए नए
- अगला
- नहीं
- नोट
- अभी
- of
- बंद
- ऑफर
- on
- केवल
- खुला
- खुला स्रोत
- इष्टतम
- विकल्प
- ऑप्शंस
- or
- अन्य
- हमारी
- परिणामों
- के ऊपर
- काबू
- अपना
- पृष्ठ
- फलक
- प्राचल
- भाग
- पासवर्ड
- अतीत
- पैच
- पथ
- प्रति
- प्रदर्शन
- अनुमतियाँ
- जगह
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- लगाना
- अंक
- लोकप्रिय
- पद
- PostgreSQL
- बिजली
- अभ्यास
- निजी
- निजी कुंजी
- प्रक्रिया
- उत्पादक
- एस्ट्रो मॉल
- उत्पादन
- प्रोफाइल
- गुण
- प्रोटोकॉल
- प्रदान करना
- बशर्ते
- प्रदान करता है
- सार्वजनिक
- सार्वजनिक रूप से
- बल्कि
- तक पहुंच गया
- तैयार
- कारण
- प्राप्त करना
- हाल
- रिकॉर्ड
- अभिलेख
- उल्लेख
- संदर्भ
- क्षेत्र
- और
- हटाना
- अनुरोधों
- अपेक्षित
- संकल्प
- हल करने
- संसाधन
- उपयुक्त संसाधन चुनें
- कि
- परिणाम
- प्रतिधारण
- भूमिका
- मार्ग
- मार्ग
- नियम
- रन
- दौड़ना
- वही
- सहेजें
- तराजू
- गुप्त
- अनुभाग
- वर्गों
- सुरक्षा
- देखना
- खंड
- चयनित
- भेजें
- वरिष्ठ
- अलग
- सर्वर
- सर्वर
- सेवा
- सेवाएँ
- सेट
- सेट
- की स्थापना
- सेटिंग्स
- व्यवस्था
- चाहिए
- दिखाना
- दिखाता है
- समान
- सरल
- साइट
- So
- समाधान
- समाधान ढूंढे
- स्रोत
- विशेषज्ञता
- एसक्यूएल
- स्थिर
- धुआँरा
- ट्रेनिंग
- शुरू
- राज्य
- स्थिति
- कदम
- कदम
- फिर भी
- भंडारण
- की दुकान
- भंडार
- सामरिक
- स्ट्रीमिंग
- उप - जाल
- सबनेट
- सफलतापूर्वक
- ऐसा
- प्रदायक
- समर्थन
- समर्थन करता है
- प्रणाली
- सिस्टम
- तालिका
- लेना
- कार्य
- टेम्पलेट
- परीक्षण
- से
- कि
- RSI
- स्रोत
- यूके
- लेकिन हाल ही
- फिर
- वहाँ।
- इन
- वे
- इसका
- तीन
- THROUGHPUT
- पहर
- सेवा मेरे
- विषय
- विषय
- यातायात
- पारगमन
- ट्यूटोरियल
- दो
- टाइप
- आम तौर पर
- Uk
- के अंतर्गत
- आधारभूत
- अपडेट
- अद्यतन
- अपडेट
- के ऊपर
- यूआरएल
- उपयोग
- प्रयुक्त
- उपयोगकर्ता
- का उपयोग करता है
- का उपयोग
- उपयोगिताओं
- मूल्य
- मान
- विभिन्न
- संस्करण
- वास्तविक
- प्रतीक्षा
- walkthrough
- करना चाहते हैं
- था
- we
- वेब
- वेब सेवाओं
- कुंआ
- थे
- कब
- कौन कौन से
- मर्जी
- साथ में
- काम
- कार्य
- यमलो
- इसलिए आप
- आपका
- जेफिरनेट
- ज़िप
- क्षेत्र