हम वास्तविक समय डेटा और अंतर्दृष्टि के युग में रह रहे हैं, जो कम-विलंबता डेटा स्ट्रीमिंग अनुप्रयोगों द्वारा संचालित है। आज, हर कोई किसी भी एप्लिकेशन में व्यक्तिगत अनुभव की अपेक्षा करता है, और संगठन अपने व्यवसाय संचालन और निर्णय लेने की गति को बढ़ाने के लिए लगातार नवाचार कर रहे हैं। उत्पादित समय-संवेदनशील डेटा की मात्रा तेजी से बढ़ रही है, नए व्यवसायों और ग्राहक उपयोग के मामलों में डेटा के विभिन्न प्रारूप पेश किए जा रहे हैं। इसलिए, संगठनों के लिए वास्तविक समय के व्यावसायिक अनुप्रयोगों और बेहतर ग्राहक अनुभव प्रदान करने के लिए कम-विलंबता, स्केलेबल और विश्वसनीय डेटा स्ट्रीमिंग बुनियादी ढांचे को अपनाना महत्वपूर्ण है।
यह ब्लॉग श्रृंखला की पहली पोस्ट है जो उपयोग के मामलों की एक विस्तृत श्रृंखला के लिए किनेसिस डेटा स्ट्रीम का उपयोग करके वास्तविक समय डेटा स्ट्रीमिंग बुनियादी ढांचे के निर्माण में सामान्य वास्तुशिल्प पैटर्न प्रदान करती है। इसका उद्देश्य AWS क्लाउड का उपयोग करके कम-विलंबता स्ट्रीमिंग एप्लिकेशन बनाने के लिए एक रूपरेखा प्रदान करना है अमेज़न Kinesis डेटा स्ट्रीम और AWS उद्देश्य-निर्मित डेटा विश्लेषण सेवाएँ.
इस पोस्ट में, हम दो उपयोग मामलों के सामान्य वास्तुशिल्प पैटर्न की समीक्षा करेंगे: टाइम सीरीज़ डेटा विश्लेषण और इवेंट ड्रिवेन माइक्रोसर्विसेज। हमारी श्रृंखला के अगले पोस्ट में, हम रीयल-टाइम बीआई डैशबोर्ड, संपर्क केंद्र एजेंट, लेजर डेटा, वैयक्तिकृत रीयल-टाइम अनुशंसा, लॉग एनालिटिक्स, आईओटी डेटा, चेंज डेटा कैप्चर और वास्तविक के लिए स्ट्रीमिंग पाइपलाइनों के निर्माण में वास्तुशिल्प पैटर्न का पता लगाएंगे। -समय विपणन डेटा. ये सभी आर्किटेक्चर पैटर्न अमेज़ॅन किनेसिस डेटा स्ट्रीम के साथ एकीकृत हैं।
काइनेसिस डेटा स्ट्रीम के साथ वास्तविक समय की स्ट्रीमिंग
अमेज़ॅन किनेसिस डेटा स्ट्रीम एक क्लाउड-नेटिव, सर्वर रहित स्ट्रीमिंग डेटा सेवा है जो किसी भी पैमाने पर वास्तविक समय के डेटा को कैप्चर करना, प्रोसेस करना और स्टोर करना आसान बनाती है। किनेसिस डेटा स्ट्रीम के साथ, आप सैकड़ों हजारों स्रोतों से प्रति सेकंड सैकड़ों गीगाबाइट डेटा एकत्र और संसाधित कर सकते हैं, जिससे आप आसानी से ऐसे एप्लिकेशन लिख सकते हैं जो वास्तविक समय में जानकारी संसाधित करते हैं। एकत्रित डेटा वास्तविक समय विश्लेषण उपयोग के मामलों, जैसे वास्तविक समय डैशबोर्ड, वास्तविक समय विसंगति का पता लगाने और गतिशील मूल्य निर्धारण की अनुमति देने के लिए मिलीसेकंड में उपलब्ध है। डिफ़ॉल्ट रूप से, काइनेसिस डेटा स्ट्रीम के भीतर डेटा को डेटा प्रतिधारण को 24 दिनों तक बढ़ाने के विकल्प के साथ 365 घंटे के लिए संग्रहीत किया जाता है। यदि ग्राहक एक ही डेटा को कई एप्लिकेशन के साथ वास्तविक समय में संसाधित करना चाहते हैं, तो वे एन्हांस्ड फैन-आउट (ईएफओ) सुविधा का उपयोग कर सकते हैं। इस सुविधा से पहले, स्ट्रीम से डेटा उपभोग करने वाला प्रत्येक एप्लिकेशन 2एमबी/सेकंड/शार्ड आउटपुट साझा करता था। उन्नत फैन-आउट का उपयोग करने के लिए स्ट्रीम उपभोक्ताओं को कॉन्फ़िगर करके, प्रत्येक डेटा उपभोक्ता को डेटा पुनर्प्राप्ति में विलंबता को और कम करने के लिए प्रति शार्ड रीड थ्रूपुट का समर्पित 2 एमबी / सेकंड पाइप प्राप्त होता है।
उच्च उपलब्धता और स्थायित्व के लिए, काइनेसिस डेटा स्ट्रीम AWS क्षेत्र में तीन उपलब्धता क्षेत्रों में स्ट्रीम किए गए डेटा को समकालिक रूप से दोहराकर उच्च स्थायित्व प्राप्त करता है और आपको 365 दिनों तक डेटा बनाए रखने का विकल्प देता है। सुरक्षा के लिए, किनेसिस डेटा स्ट्रीम सर्वर-साइड एन्क्रिप्शन प्रदान करती है ताकि आप अपने डेटा को आराम से एन्क्रिप्ट करके सख्त डेटा प्रबंधन आवश्यकताओं को पूरा कर सकें और अमेज़ॅन वर्चुअल प्राइवेट क्लाउड (वीपीसी) इंटरफ़ेस एंडपॉइंट आपके अमेज़ॅन वीपीसी और किनेसिस डेटा स्ट्रीम के बीच ट्रैफ़िक को निजी रखने के लिए।
काइनेसिस डेटा स्ट्रीम का अन्य AWS सेवाओं के साथ मूल एकीकरण है एडब्ल्यूएस गोंद और अमेज़न EventBridge AWS पर रीयल-टाइम स्ट्रीमिंग एप्लिकेशन बनाने के लिए। अतिरिक्त विवरण के लिए अमेज़ॅन किनेसिस डेटा स्ट्रीम एकीकरण देखें।
काइनेसिस डेटा स्ट्रीम के साथ आधुनिक डेटा स्ट्रीमिंग आर्किटेक्चर
काइनेसिस डेटा स्ट्रीम के साथ एक आधुनिक स्ट्रीमिंग डेटा आर्किटेक्चर को पांच तार्किक परतों के ढेर के रूप में डिज़ाइन किया जा सकता है; प्रत्येक परत कई उद्देश्य-निर्मित घटकों से बनी होती है जो विशिष्ट आवश्यकताओं को संबोधित करती हैं, जैसा कि निम्नलिखित चित्र में दिखाया गया है:
वास्तुकला में निम्नलिखित प्रमुख घटक शामिल हैं:
- स्ट्रीमिंग स्रोत - आपके स्ट्रीमिंग डेटा के स्रोत में क्लिकस्ट्रीम डेटा, सेंसर, सोशल मीडिया, इंटरनेट ऑफ थिंग्स (IoT) डिवाइस, आपके वेब और मोबाइल एप्लिकेशन का उपयोग करके उत्पन्न लॉग फ़ाइलें और मोबाइल डिवाइस जैसे डेटा स्रोत शामिल हैं जो निरंतर स्ट्रीम के रूप में अर्ध-संरचित और असंरचित डेटा उत्पन्न करते हैं। उच्च वेग से.
- स्ट्रीम अंतर्ग्रहण - स्ट्रीम अंतर्ग्रहण परत स्ट्रीम भंडारण परत में डेटा अंतर्ग्रहण के लिए जिम्मेदार है। यह हजारों डेटा स्रोतों से डेटा एकत्र करने और वास्तविक समय में ग्रहण करने की क्षमता प्रदान करता है। आप इसका उपयोग कर सकते हैं किनेसिस एसडीके एपीआई के माध्यम से स्ट्रीमिंग डेटा अंतर्ग्रहण के लिए किनेसिस प्रोड्यूसर लाइब्रेरी उच्च-प्रदर्शन और लंबे समय तक चलने वाले स्ट्रीमिंग उत्पादकों के निर्माण के लिए, या ए काइनेसिस एजेंट फ़ाइलों का एक सेट एकत्र करने और उन्हें किनेसिस डेटा स्ट्रीम में डालने के लिए। इसके अलावा, आप कई प्री-बिल्ड इंटीग्रेशन का उपयोग कर सकते हैं जैसे AWS डेटाबेस माइग्रेशन सेवा (AWS DMS), अमेज़ॅन डायनेमोडीबी, तथा AWS IoT कोर बिना कोड वाले तरीके से डेटा ग्रहण करना। आप अपाचे स्पार्क और अपाचे काफ्का कनेक्ट जैसे तृतीय-पक्ष प्लेटफ़ॉर्म से भी डेटा प्राप्त कर सकते हैं
- स्ट्रीम भंडारण - काइनेसिस डेटा स्ट्रीम डेटा थ्रूपुट का समर्थन करने के लिए दो मोड प्रदान करता है: ऑन-डिमांड और प्रोविजन्ड। ऑन-डिमांड मोड, जो अब डिफ़ॉल्ट विकल्प है, वैरिएबल थ्रूपुट को अवशोषित करने के लिए बड़े पैमाने पर काम कर सकता है, ताकि ग्राहकों को क्षमता प्रबंधन के बारे में चिंता करने और डेटा थ्रूपुट द्वारा भुगतान करने की आवश्यकता न हो। डेटा अंतर्ग्रहण में अप्रत्याशित स्पाइक्स के लिए पर्याप्त क्षमता प्रदान करने के लिए ऑन-डिमांड मोड स्वचालित रूप से अपने ऐतिहासिक अधिकतम डेटा अंतर्ग्रहण पर स्ट्रीम क्षमता को 2 गुना बढ़ा देता है। वैकल्पिक रूप से, जो ग्राहक स्ट्रीम संसाधनों पर विस्तृत नियंत्रण चाहते हैं, वे प्रावधानित मोड का उपयोग कर सकते हैं और अपनी थ्रूपुट आवश्यकताओं को पूरा करने के लिए सक्रिय रूप से शार्ड की संख्या को बढ़ा और घटा सकते हैं। इसके अतिरिक्त, किनेसिस डेटा स्ट्रीम स्ट्रीमिंग डेटा को डिफ़ॉल्ट रूप से 24 घंटे तक संग्रहीत कर सकता है, लेकिन उपयोग के मामलों के आधार पर इसे 7 दिन या 365 दिन तक बढ़ाया जा सकता है। एकाधिक एप्लिकेशन एक ही स्ट्रीम का उपभोग कर सकते हैं।
- स्ट्रीम प्रोसेसिंग - स्ट्रीम प्रोसेसिंग परत डेटा सत्यापन, सफाई, सामान्यीकरण, परिवर्तन और संवर्धन के माध्यम से डेटा को उपभोग्य स्थिति में बदलने के लिए जिम्मेदार है। स्ट्रीमिंग रिकॉर्ड को उनके उत्पादित होने के क्रम में पढ़ा जाता है, जिससे वास्तविक समय विश्लेषण, इवेंट-संचालित अनुप्रयोगों का निर्माण या ईटीएल (एक्सट्रैक्ट, ट्रांसफॉर्म और लोड) स्ट्रीमिंग की अनुमति मिलती है। आप उपयोग कर सकते हैं अपाचे फ्लिंक के लिए अमेज़ॅन प्रबंधित सेवा जटिल स्ट्रीम डेटा प्रोसेसिंग के लिए, AWS लाम्बा स्टेटलेस स्ट्रीम डेटा प्रोसेसिंग के लिए, और एडब्ल्यूएस गोंद & अमेज़ॅन ईएमआर लगभग वास्तविक समय की गणना के लिए। आप इसके साथ अनुकूलित उपभोक्ता एप्लिकेशन भी बना सकते हैं किनेसिस उपभोक्ता पुस्तकालय, जो वितरित कंप्यूटिंग से जुड़े कई जटिल कार्यों का ध्यान रखेगा।
- मंज़िल - गंतव्य परत आपके उपयोग के मामले के आधार पर एक उद्देश्य-निर्मित गंतव्य की तरह है। आप सीधे डेटा स्ट्रीम कर सकते हैं अमेज़न रेडशिफ्ट डेटा वेयरहाउसिंग के लिए और अमेज़ॅन इवेंटब्रिज इवेंट-संचालित अनुप्रयोगों के निर्माण के लिए। आप भी उपयोग कर सकते हैं अमेज़न Kinesis डेटा Firehose स्ट्रीमिंग एकीकरण के लिए जहां आप एडब्ल्यूएस लैम्ब्डा के साथ स्ट्रीम प्रोसेसिंग को लाइट कर सकते हैं, और फिर संसाधित स्ट्रीमिंग को गंतव्यों में वितरित कर सकते हैं अमेज़न S3 डेटा लेक, ऑपरेशनल एनालिटिक्स के लिए ओपनसर्च सेवा, एक रेडशिफ्ट डेटा वेयरहाउस, अमेज़ॅन डायनेमोडीबी जैसे नो-एसक्यूएल डेटाबेस और रिलेशनल डेटाबेस जैसे अमेज़ॅन आरडीएस व्यावसायिक अनुप्रयोगों में वास्तविक समय स्ट्रीम का उपभोग करने के लिए। गंतव्य वास्तविक समय डैशबोर्ड, संसाधित स्ट्रीमिंग डेटा के आधार पर स्वचालित निर्णय, वास्तविक समय परिवर्तन और बहुत कुछ के लिए एक इवेंट-संचालित एप्लिकेशन हो सकता है।
समय श्रृंखला के लिए वास्तविक समय विश्लेषण वास्तुकला
समय श्रृंखला डेटा समय के साथ बदलती घटनाओं को मापने के लिए एक समय अंतराल पर रिकॉर्ड किए गए डेटा बिंदुओं का एक क्रम है। समय के साथ स्टॉक की कीमतें, वेबपेज क्लिकस्ट्रीम और समय के साथ डिवाइस लॉग इसके उदाहरण हैं। ग्राहक समय के साथ परिवर्तनों की निगरानी के लिए समय श्रृंखला डेटा का उपयोग कर सकते हैं, ताकि वे विसंगतियों का पता लगा सकें, पैटर्न की पहचान कर सकें और विश्लेषण कर सकें कि समय के साथ कुछ चर कैसे प्रभावित होते हैं। समय श्रृंखला डेटा आम तौर पर उच्च मात्रा में कई स्रोतों से उत्पन्न होता है, और इसे वास्तविक समय में लागत प्रभावी ढंग से एकत्र करने की आवश्यकता होती है।
आमतौर पर, तीन प्राथमिक लक्ष्य होते हैं जिन्हें ग्राहक समय-श्रृंखला डेटा संसाधित करते समय हासिल करना चाहते हैं:
- सिस्टम प्रदर्शन में वास्तविक समय में अंतर्दृष्टि प्राप्त करें और विसंगतियों का पता लगाएं
- रुझानों को ट्रैक करने और इन जानकारियों से क्वेरी/विज़ुअलाइज़ेशन बनाने के लिए अंतिम-उपयोगकर्ता व्यवहार को समझें
- अभिलेखीय और बार-बार एक्सेस किए गए डेटा दोनों को ग्रहण करने और संग्रहीत करने के लिए एक टिकाऊ भंडारण समाधान रखें।
काइनेसिस डेटा स्ट्रीम के साथ, ग्राहक सफाई, संवर्धन, भंडारण, विश्लेषण और विज़ुअलाइज़ेशन के लिए हजारों स्रोतों से समय श्रृंखला डेटा के टेराबाइट्स को लगातार कैप्चर कर सकते हैं।
निम्नलिखित आर्किटेक्चर पैटर्न दर्शाता है कि किनेसिस डेटा स्ट्रीम के साथ टाइम सीरीज़ डेटा के लिए वास्तविक समय विश्लेषण कैसे प्राप्त किया जा सकता है:
वर्कफ़्लो चरण इस प्रकार हैं:
- डेटा अंतर्ग्रहण और भंडारण - काइनेसिस डेटा स्ट्रीम हजारों स्रोतों से टेराबाइट्स डेटा को लगातार कैप्चर और स्टोर कर सकती है।
- स्ट्रीम प्रोसेसिंग - के साथ बनाया गया एक एप्लिकेशन अपाचे फ्लिंक के लिए अमेज़ॅन प्रबंधित सेवा समय श्रृंखला डेटा में किसी भी त्रुटि का पता लगाने और उसे साफ़ करने के लिए डेटा स्ट्रीम से रिकॉर्ड पढ़ सकता है और परिचालन विश्लेषण को अनुकूलित करने के लिए विशिष्ट मेटाडेटा के साथ डेटा को समृद्ध कर सकता है। बीच में डेटा स्ट्रीम का उपयोग करने से एक ही समय में अन्य प्रक्रियाओं और समाधानों में समय श्रृंखला डेटा का उपयोग करने का लाभ मिलता है। फिर इन घटनाओं के साथ एक लैम्ब्डा फ़ंक्शन लागू किया जाता है, और मेमोरी में समय श्रृंखला गणना कर सकता है।
- गंतव्यों - सफाई और संवर्धन के बाद, संसाधित समय श्रृंखला डेटा को स्ट्रीम किया जा सकता है अमेज़न टाइमस्ट्रीम वास्तविक समय डैशबोर्डिंग और विश्लेषण के लिए डेटाबेस, या अंतिम-उपयोगकर्ता क्वेरी के लिए DynamoDB जैसे डेटाबेस में संग्रहीत। संग्रहित करने के लिए कच्चे डेटा को अमेज़न S3 पर स्ट्रीम किया जा सकता है।
- विज़ुअलाइज़ेशन और अंतर्दृष्टि प्राप्त करें - ग्राहक इसका उपयोग करके क्वेरी कर सकते हैं, कल्पना कर सकते हैं और अलर्ट बना सकते हैं ग्राफाना के लिए अमेज़ॅन प्रबंधित सेवा. ग्राफाना उन डेटा स्रोतों का समर्थन करता है जो समय श्रृंखला डेटा के लिए स्टोरेज बैकएंड हैं। टाइमस्ट्रीम से अपने डेटा तक पहुंचने के लिए, आपको ग्राफाना के लिए टाइमस्ट्रीम प्लगइन इंस्टॉल करना होगा। अंतिम-उपयोगकर्ता DynamoDB तालिका से डेटा क्वेरी कर सकते हैं अमेज़ॅन एपीआई गेटवे एक प्रॉक्सी के रूप में कार्य करना।
का संदर्भ लें अमेज़ॅन किनेसिस, अमेज़ॅन टाइमस्ट्रीम और ग्राफाना के साथ वास्तविक समय प्रसंस्करण के करीब डिवाइस टेलीमेट्री IoT डेटा को अमेज़ॅन टाइमस्ट्रीम जैसे टाइम सीरीज़ अनुकूलित डेटा स्टोर में संसाधित और संग्रहीत करने के लिए सर्वर रहित स्ट्रीमिंग पाइपलाइन का प्रदर्शन।
इवेंट-सोर्सिंग माइक्रोसर्विसेज के लिए वास्तविक समय में डेटा को समृद्ध करना और पुनः चलाना
माइक्रोसर्विसेज सॉफ्टवेयर विकास के लिए एक वास्तुशिल्प और संगठनात्मक दृष्टिकोण है जहां सॉफ्टवेयर छोटी स्वतंत्र सेवाओं से बना होता है जो अच्छी तरह से परिभाषित एपीआई पर संचार करते हैं। इवेंट-संचालित माइक्रोसर्विसेज का निर्माण करते समय, ग्राहक 1. आने वाली घटनाओं की मात्रा को संभालने के लिए उच्च स्केलेबिलिटी और 2. इवेंट प्रोसेसिंग की विश्वसनीयता और विफलताओं की स्थिति में सिस्टम कार्यक्षमता को बनाए रखना चाहते हैं।
ग्राहक नई सुविधाओं के लिए नवाचार और समय-समय पर बाजार में तेजी लाने के लिए माइक्रोसर्विस आर्किटेक्चर पैटर्न का उपयोग करते हैं, क्योंकि यह अनुप्रयोगों को स्केल करना और तेजी से विकसित करना आसान बनाता है। हालाँकि, किसी नेटवर्क कॉल में डेटा को किसी अन्य माइक्रोसर्विस पर समृद्ध करना और फिर से चलाना चुनौतीपूर्ण है क्योंकि यह एप्लिकेशन की विश्वसनीयता को प्रभावित कर सकता है और डीबग करना और त्रुटियों का पता लगाना मुश्किल बना सकता है। इस समस्या को हल करने के लिए, इवेंट-सोर्सिंग एक प्रभावी डिज़ाइन पैटर्न है जो संवर्धन और पुनरावृत्ति के लिए सभी राज्य परिवर्तनों के ऐतिहासिक रिकॉर्ड को केंद्रीकृत करता है, और लेखन कार्यभार से पढ़े गए डिकूपल्स को अलग करता है। ग्राहक इवेंट-सोर्सिंग माइक्रोसर्विसेज के लिए केंद्रीकृत इवेंट स्टोर के रूप में किनेसिस डेटा स्ट्रीम का उपयोग कर सकते हैं, क्योंकि केडीएस उच्च स्केलेबिलिटी और वास्तविक समय की आवश्यकता को पूरा करने के लिए प्रति सेकंड प्रति स्ट्रीम गीगाबाइट डेटा थ्रूपुट को संभाल सकता है और मिलीसेकंड में डेटा स्ट्रीम कर सकता है। विलंबता, 1/ डेटा संवर्धन और माइक्रोसर्विसेज से पूरी तरह अलग होने के दौरान प्राप्त करने के लिए फ्लिंक और एस 2 के साथ एकीकृत, और 3/ बाद के समय में पुन: प्रयास और एसिंक्रोनस पढ़ने की अनुमति देता है, क्योंकि केडीएस 3 घंटे के डिफ़ॉल्ट के लिए डेटा रिकॉर्ड को बनाए रखता है, और वैकल्पिक रूप से 24 दिन तक.
निम्नलिखित वास्तुशिल्प पैटर्न इस बात का एक सामान्य उदाहरण है कि इवेंट-सोर्सिंग माइक्रोसर्विसेज के लिए किनेसिस डेटा स्ट्रीम का उपयोग कैसे किया जा सकता है:
वर्कफ़्लो के चरण इस प्रकार हैं:
- डेटा अंतर्ग्रहण और भंडारण - आप भंडारण के लिए अपने माइक्रोसर्विसेज से इनपुट को अपने किनेसिस डेटा स्ट्रीम में एकत्रित कर सकते हैं।
- स्ट्रीम प्रसंस्करण - अपाचे फ़्लिंक स्टेटफुल फ़ंक्शंस वितरित स्टेटफुल इवेंट-संचालित अनुप्रयोगों के निर्माण को सरल बनाता है। यह इनपुट किनेसिस डेटा स्ट्रीम से इवेंट प्राप्त कर सकता है और परिणामी स्ट्रीम को आउटपुट डेटा स्ट्रीम में रूट कर सकता है। आप अपने एप्लिकेशन बिजनेस लॉजिक के आधार पर अपाचे फ्लिंक के साथ एक स्टेटफुल फ़ंक्शन क्लस्टर बना सकते हैं।
- अमेज़ॅन S3 में राज्य स्नैपशॉट - ट्रैकिंग के लिए आप स्टेट स्नैपशॉट को Amazon S3 में स्टोर कर सकते हैं।
- आउटपुट स्ट्रीम - आउटपुट स्ट्रीम को एपीआई गेटवे के माध्यम से HTTP/gRPC प्रोटोकॉल के माध्यम से लैम्ब्डा रिमोट फ़ंक्शंस के माध्यम से उपभोग किया जा सकता है।
- लैम्ब्डा दूरस्थ कार्य - लैम्ब्डा फ़ंक्शंस व्यावसायिक अनुप्रयोगों और मोबाइल ऐप्स की सेवा के लिए विभिन्न एप्लिकेशन और व्यावसायिक तर्क के लिए माइक्रोसर्विसेज के रूप में कार्य कर सकते हैं।
यह जानने के लिए कि अन्य ग्राहकों ने किनेसिस डेटा स्ट्रीम के साथ अपने इवेंट-आधारित माइक्रोसर्विसेज का निर्माण कैसे किया, निम्नलिखित देखें:
मुख्य विचार और सर्वोत्तम प्रथाएँ
ध्यान में रखने योग्य विचार और सर्वोत्तम प्रथाएँ निम्नलिखित हैं:
- आधुनिक डेटा स्ट्रीमिंग एप्लिकेशन के निर्माण में डेटा खोज आपका पहला कदम होना चाहिए। वांछित व्यावसायिक परिणाम प्राप्त करने के लिए आपको व्यावसायिक मूल्य को परिभाषित करना होगा और फिर अपने स्ट्रीमिंग डेटा स्रोतों और उपयोगकर्ता व्यक्तित्वों की पहचान करनी होगी।
- अपने स्टीमिंग डेटा स्रोत के आधार पर अपना स्ट्रीमिंग डेटा अंतर्ग्रहण टूल चुनें। उदाहरण के लिए, आप इसका उपयोग कर सकते हैं किनेसिस एसडीके एपीआई के माध्यम से स्ट्रीमिंग डेटा अंतर्ग्रहण के लिए किनेसिस प्रोड्यूसर लाइब्रेरी उच्च-प्रदर्शन और लंबे समय तक चलने वाले स्ट्रीमिंग उत्पादकों के निर्माण के लिए, ए काइनेसिस एजेंट फ़ाइलों का एक सेट एकत्र करने और उन्हें किनेसिस डेटा स्ट्रीम में डालने के लिए, एडब्ल्यूएस डीएमएस सीडीसी स्ट्रीमिंग उपयोग के मामलों के लिए, और AWS IoT कोर IoT डिवाइस डेटा को किनेसिस डेटा स्ट्रीम में शामिल करने के लिए। आप कम-विलंबता स्ट्रीमिंग एप्लिकेशन बनाने के लिए स्ट्रीमिंग डेटा को सीधे अमेज़ॅन रेडशिफ्ट में प्राप्त कर सकते हैं। आप किनेसिस डेटा स्ट्रीम में स्ट्रीमिंग डेटा को शामिल करने के लिए अपाचे स्पार्क और अपाचे काफ्का जैसी तृतीय-पक्ष लाइब्रेरी का भी उपयोग कर सकते हैं।
- आपको अपने विशिष्ट उपयोग के मामले और व्यावसायिक आवश्यकताओं के आधार पर अपनी स्ट्रीमिंग डेटा प्रोसेसिंग सेवाओं को चुनने की आवश्यकता है। उदाहरण के लिए, आप कई स्ट्रीमिंग गंतव्यों और जटिल स्टेटफुल स्ट्रीम प्रोसेसिंग के साथ उन्नत स्ट्रीमिंग उपयोग के मामलों के लिए अपाचे फ्लिंक के लिए अमेज़ॅन किनेसिस प्रबंधित सेवा का उपयोग कर सकते हैं या यदि आप वास्तविक समय (जैसे हर घंटे) में बिजनेस मेट्रिक्स की निगरानी करना चाहते हैं। लैम्ब्डा इवेंट-आधारित और स्टेटलेस प्रोसेसिंग के लिए अच्छा है। आप उपयोग कर सकते हैं अमेज़ॅन ईएमआर स्ट्रीमिंग डेटा प्रोसेसिंग के लिए अपने पसंदीदा ओपन सोर्स बड़े डेटा फ्रेमवर्क का उपयोग करें। एडब्ल्यूएस ग्लू स्ट्रीमिंग ईटीएल जैसे उपयोग के मामलों के लिए लगभग वास्तविक समय स्ट्रीमिंग डेटा प्रोसेसिंग के लिए अच्छा है।
- काइनेसिस डेटा स्ट्रीम ऑन-डिमांड मोड उपयोग के अनुसार चार्ज करता है और स्वचालित रूप से संसाधन क्षमता को बढ़ाता है, इसलिए यह तेज़ स्ट्रीमिंग वर्कलोड और हैंड्स-फ़्री रखरखाव के लिए अच्छा है। प्रावधानित मोड क्षमता के अनुसार चार्ज होता है और इसके लिए सक्रिय क्षमता प्रबंधन की आवश्यकता होती है, इसलिए यह पूर्वानुमानित स्ट्रीमिंग वर्कलोड के लिए अच्छा है।
- आप का उपयोग कर सकते हैं किनेसिस साझा कैलकुलेटर प्रावधानित मोड के लिए आवश्यक शार्डों की संख्या की गणना करने के लिए। आपको ऑन-डिमांड मोड वाले शार्ड के बारे में चिंतित होने की आवश्यकता नहीं है।
- अनुमतियाँ देते समय, आप तय करते हैं कि किस किनेसिस डेटा स्ट्रीम संसाधनों के लिए कौन सी अनुमतियाँ मिल रही हैं। आप उन विशिष्ट कार्रवाइयों को सक्षम करते हैं जिन्हें आप उन संसाधनों पर अनुमति देना चाहते हैं। इसलिए, आपको केवल वही अनुमतियाँ देनी चाहिए जो किसी कार्य को करने के लिए आवश्यक हों। आप KMS ग्राहक प्रबंधित कुंजी (CMK) का उपयोग करके बाकी डेटा को एन्क्रिप्ट भी कर सकते हैं।
- आप ऐसा कर सकते हैं अवधारण अवधि अद्यतन करें काइनेसिस डेटा स्ट्रीम कंसोल के माध्यम से या का उपयोग करके स्ट्रीमरिटेंशन अवधि बढ़ाएँ और स्ट्रीमरिटेन्शनपीरियड घटाएँ आपके विशिष्ट उपयोग के मामलों के आधार पर संचालन।
- काइनेसिस डेटा स्ट्रीम सपोर्ट करता है पुनः साझा करना. इस फ़ंक्शन के लिए अनुशंसित API है अपडेटशार्डकाउंट, जो आपको स्ट्रीम के माध्यम से डेटा प्रवाह की दर में परिवर्तन के अनुकूल होने के लिए अपनी स्ट्रीम में शार्ड की संख्या को संशोधित करने की अनुमति देता है। रीशार्डिंग एपीआई (स्प्लिट और मर्ज) का उपयोग आमतौर पर गर्म शार्क को संभालने के लिए किया जाता है।
निष्कर्ष
इस पोस्ट ने किनेसिस डेटा स्ट्रीम के साथ कम-विलंबता स्ट्रीमिंग अनुप्रयोगों के निर्माण के लिए विभिन्न वास्तुशिल्प पैटर्न का प्रदर्शन किया। आप इस पोस्ट में दी गई जानकारी का उपयोग करके काइनेसिस डेटा स्ट्रीम के साथ अपने स्वयं के कम-विलंबता वाले स्टीमिंग एप्लिकेशन बना सकते हैं।
विस्तृत वास्तुशिल्प पैटर्न के लिए, निम्नलिखित संसाधनों का संदर्भ लें:
यदि आप डेटा विज़न और रणनीति बनाना चाहते हैं, तो इसे देखें AWS डेटा-संचालित सब कुछ (डी2ई) कार्यक्रम।
लेखक के बारे में
राघवराव सोडाबथिना AWS में एक प्रमुख समाधान वास्तुकार है, जो डेटा एनालिटिक्स, AI/ML और क्लाउड सुरक्षा पर ध्यान केंद्रित करता है। वह ग्राहकों के साथ ऐसे नवोन्मेषी समाधान तैयार करने के लिए जुड़ते हैं जो ग्राहकों की व्यावसायिक समस्याओं का समाधान करते हैं और AWS सेवाओं को अपनाने में तेजी लाते हैं। अपने खाली समय में, राघवराव अपने परिवार के साथ समय बिताना, किताबें पढ़ना और फिल्में देखना पसंद करते हैं।
ज़ूओ को लटकाओ अमेज़ॅन वेब सर्विसेज में अमेज़ॅन किनेसिस डेटा स्ट्रीम टीम में एक वरिष्ठ उत्पाद प्रबंधक हैं। उन्हें सहज उत्पाद अनुभव विकसित करने का शौक है जो जटिल ग्राहक समस्याओं का समाधान करता है और ग्राहकों को उनके व्यावसायिक लक्ष्यों को प्राप्त करने में सक्षम बनाता है।
श्वेता राधाकृष्णन डेटा एनालिटिक्स पर फोकस के साथ AWS के लिए एक सॉल्यूशन आर्किटेक्ट है। वह ऐसे समाधान तैयार कर रही है जो क्लाउड अपनाने को बढ़ावा देते हैं और संगठनों को सार्वजनिक क्षेत्र के भीतर डेटा-संचालित निर्णय लेने में मदद करते हैं। काम के अलावा, उसे नृत्य करना, दोस्तों और परिवार के साथ समय बिताना और यात्रा करना पसंद है।
ब्रिटनी ली AWS में सॉल्यूशन आर्किटेक्ट हैं। वह उद्यम ग्राहकों को उनकी क्लाउड अपनाने और आधुनिकीकरण यात्रा में मदद करने पर केंद्रित है और सुरक्षा और विश्लेषण क्षेत्र में रुचि रखती है। काम के अलावा, वह अपने कुत्ते के साथ समय बिताना और पिकलबॉल खेलना पसंद करती है।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/big-data/architectural-patterns-for-real-time-analytics-using-amazon-kinesis-data-streams-part-1/
- :हैस
- :है
- :नहीं
- :कहाँ
- $यूपी
- 1
- 100
- 24
- 7
- a
- क्षमता
- About
- में तेजी लाने के
- पहुँच
- पहुँचा
- पाना
- हासिल
- प्राप्त
- प्राप्त करने
- के पार
- अधिनियम
- अभिनय
- कार्रवाई
- अनुकूलन
- इसके अलावा
- अतिरिक्त
- इसके अतिरिक्त
- पता
- दत्तक ग्रहण
- उन्नत
- लाभ
- बाद
- उम्र
- एजेंट
- कुल
- ऐ / एमएल
- करना
- अलर्ट
- सब
- अनुमति देना
- की अनुमति दे
- की अनुमति देता है
- भी
- वीरांगना
- अमेज़ॅन किनिस
- अमेज़न टाइमस्ट्रीम
- अमेज़ॅन वेब सेवा
- an
- विश्लेषण
- विश्लेषिकी
- विश्लेषण करें
- और
- असंगति का पता लगाये
- अन्य
- कोई
- अपाचे
- अपाचे काफ्का
- अपाचे स्पार्क
- एपीआई
- एपीआई
- आवेदन
- अनुप्रयोगों
- दृष्टिकोण
- क्षुधा
- वास्तु
- स्थापत्य
- हैं
- AS
- जुड़े
- At
- स्वचालित
- स्वतः
- उपलब्धता
- उपलब्ध
- एडब्ल्यूएस
- एडब्ल्यूएस गोंद
- AWS लाम्बा
- आधारित
- BE
- क्योंकि
- किया गया
- व्यवहार
- जा रहा है
- BEST
- सर्वोत्तम प्रथाओं
- बेहतर
- के बीच
- बड़ा
- बड़ा डेटा
- ब्लॉग
- पुस्तकें
- के छात्रों
- निर्माण
- इमारत
- बनाया गया
- व्यापार
- व्यावसायिक अनुप्रयोग
- व्यवसायों
- लेकिन
- by
- गणना
- कॉल
- कर सकते हैं
- क्षमता
- कब्जा
- कौन
- मामला
- मामलों
- सीडीसी
- केंद्र
- केंद्रीकृत
- कुछ
- चुनौतीपूर्ण
- परिवर्तन
- परिवर्तन
- प्रभार
- चेक
- चुनाव
- चुनें
- स्वच्छ
- सफाई
- बादल
- बादल को गोद लेना
- क्लाउड सुरक्षा
- समूह
- इकट्ठा
- एकत्रित
- सामान्य
- संवाद
- पूरी तरह से
- जटिल
- घटकों
- प्रकृतिस्थ
- गणना करना
- कंप्यूटिंग
- चिंतित
- को विन्यस्त
- विचार
- होते हैं
- कंसोल
- निरंतर
- उपभोग
- प्रयुक्त
- उपभोक्ता
- उपभोक्ताओं
- संपर्क करें
- संपर्क केंद्र
- निरंतर
- लगातार
- नियंत्रण
- बनाना
- बनाया
- महत्वपूर्ण
- ग्राहक
- ग्राहक
- अनुकूलित
- नाच
- डैशबोर्ड
- तिथि
- डेटा विश्लेषण
- डेटा विश्लेषण
- दिनांक संवर्धन
- डेटा लेक
- आँकड़ा प्रबंधन
- डेटा अंक
- डेटा संसाधन
- डाटा गोदाम
- डेटा पर ही आधारित
- डाटाबेस
- डेटाबेस
- दिन
- तय
- निर्णय
- निर्णय
- निर्णय
- decoupled
- समर्पित
- चूक
- परिभाषित
- उद्धार
- साबित
- निर्भर करता है
- डिज़ाइन
- बनाया गया
- वांछित
- गंतव्य
- स्थलों
- विस्तृत
- विवरण
- पता लगाना
- खोज
- विकसित करना
- विकासशील
- विकास
- युक्ति
- डिवाइस
- विभिन्न
- मुश्किल
- सीधे
- खोज
- वितरित
- वितरित अभिकलन
- do
- कुत्ता
- dont
- नीचे
- ड्राइव
- संचालित
- सहनशीलता
- गतिशील
- से प्रत्येक
- आसान
- आसानी
- आसान
- प्रभावी
- आलिंगन
- सक्षम
- एन्क्रिप्शन
- अंतबिंदु
- संलग्न
- वर्धित
- समृद्ध
- उद्यम
- उद्यम ग्राहकों
- त्रुटियाँ
- ईथर (ईटीएच)
- कार्यक्रम
- घटनाओं
- प्रत्येक
- हर कोई
- उदाहरण
- उदाहरण
- उम्मीद
- अनुभव
- अनुभव
- का पता लगाने
- विस्तार
- उद्धरण
- चेहरा
- विफलताओं
- परिवार
- फैशन
- और तेज
- पसंदीदा
- Feature
- विशेषताएं
- खेत
- फ़ाइलें
- प्रथम
- पांच
- प्रवाह
- फोकस
- ध्यान केंद्रित
- ध्यान केंद्रित
- निम्नलिखित
- इस प्रकार है
- के लिए
- ढांचा
- चौखटे
- अक्सर
- मित्रों
- से
- समारोह
- कार्यक्षमता
- कार्यों
- आगे
- लाभ
- प्रवेश द्वार
- उत्पन्न
- उत्पन्न
- मिल रहा
- GitHub
- देता है
- लक्ष्यों
- अच्छा
- अनुदान
- देने
- संभालना
- लटकना
- he
- मदद
- मदद
- उसे
- हाई
- उच्च प्रदर्शन
- उसके
- ऐतिहासिक
- गरम
- घंटा
- घंटे
- कैसे
- तथापि
- एचटीएमएल
- http
- HTTPS
- सैकड़ों
- पहचान करना
- if
- दिखाता है
- प्रभाव
- in
- अन्य में
- शामिल
- आवक
- बढ़ना
- बढ़ती
- स्वतंत्र
- प्रभावित
- करें-
- इंफ्रास्ट्रक्चर
- बुनियादी सुविधाओं
- innovating
- नवोन्मेष
- अभिनव
- निवेश
- अंतर्दृष्टि
- स्थापित
- एकीकृत
- एकीकृत
- एकीकरण
- एकीकरण
- ब्याज
- इंटरफेस
- इंटरनेट
- चीजों की इंटरनेट
- में
- शुरू की
- सहज ज्ञान युक्त
- लागू
- IOT
- IoT डिवाइस
- IT
- आईटी इस
- यात्रा
- जेपीजी
- काफ्का
- रखना
- कुंजी
- किनेसिस डेटा स्ट्रीम
- झील
- विलंब
- बाद में
- परत
- परतों
- जानें
- खाता
- पुस्तकालयों
- पुस्तकालय
- प्रकाश
- पसंद
- जीवित
- भार
- लॉग इन
- तर्क
- तार्किक
- प्यार करता है
- बनाए रखना
- रखरखाव
- बनाना
- बनाता है
- निर्माण
- कामयाब
- प्रबंध
- प्रबंधक
- बहुत
- विपणन (मार्केटिंग)
- अधिकतम
- मापने
- मीडिया
- मिलना
- याद
- मर्ज
- मेटाडाटा
- मेट्रिक्स
- microservices
- मध्यम
- प्रवास
- मिलीसेकेंड
- मन
- मोबाइल
- मोबाइल एप्लीकेशन
- मोबाइल उपकरणों
- मोबाइल क्षुधा
- मोड
- आधुनिक
- आधुनिकीकरण
- मोड
- संशोधित
- मॉनिटर
- अधिक
- चलचित्र
- विभिन्न
- चाहिए
- देशी
- निकट
- आवश्यकता
- जरूरत
- की जरूरत है
- नेटवर्क
- नया
- नई सुविधाएँ
- अभी
- संख्या
- of
- प्रस्ताव
- ऑफर
- on
- ऑन डिमांड
- केवल
- खुला
- खुला स्रोत
- आपरेशन
- परिचालन
- संचालन
- ऑप्टिमाइज़ करें
- अनुकूलित
- विकल्प
- or
- आदेश
- संगठनात्मक
- संगठनों
- अन्य
- हमारी
- आउट
- परिणामों
- उत्पादन
- बाहर
- के ऊपर
- अपना
- भाग
- आवेशपूर्ण
- पैटर्न
- पैटर्न उपयोग करें
- वेतन
- प्रति
- निष्पादन
- प्रदर्शन
- अनुमतियाँ
- निजीकृत
- पाइप
- पाइपलाइन
- प्लेटफार्म
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- प्ले
- लगाना
- अंक
- पद
- प्रथाओं
- उम्मीद के मुताबिक
- मूल्य
- कीमत निर्धारण
- प्राथमिक
- प्रिंसिपल
- पूर्व
- निजी
- प्रोएक्टिव
- मुसीबत
- समस्याओं
- प्रक्रिया
- संसाधित
- प्रक्रियाओं
- प्रसंस्करण
- प्रस्तुत
- उत्पादक
- प्रोड्यूसर्स
- एस्ट्रो मॉल
- उत्पादन प्रबंधक
- कार्यक्रम
- प्रोटोकॉल
- प्रदान करना
- प्रदान करता है
- प्रतिनिधि
- सार्वजनिक
- रेंज
- तेजी
- मूल्यांकन करें
- कच्चा
- कच्चा डेटा
- पढ़ना
- पढ़ना
- वास्तविक
- वास्तविक समय
- वास्तविक समय डाटा
- प्राप्त करना
- प्राप्त
- सिफारिश
- की सिफारिश की
- रिकॉर्ड
- दर्ज
- अभिलेख
- को कम करने
- उल्लेख
- क्षेत्र
- विश्वसनीयता
- विश्वसनीय
- दूरस्थ
- अपेक्षित
- आवश्यकता
- आवश्यकताएँ
- की आवश्यकता होती है
- संसाधन
- उपयुक्त संसाधन चुनें
- जिम्मेदार
- बाकी
- जिसके परिणामस्वरूप
- बनाए रखने के
- बरकरार रखती है
- प्रतिधारण
- की समीक्षा
- मार्ग
- वही
- अनुमापकता
- स्केलेबल
- स्केल
- तराजू
- दूसरा
- सेक्टर
- सुरक्षा
- वरिष्ठ
- सेंसर
- अनुक्रम
- कई
- सेवा
- serverless
- सेवा
- सेवाएँ
- सेट
- साझा
- वह
- चाहिए
- को दिखाने
- सरल
- छोटा
- आशुचित्र
- So
- सोशल मीडिया
- सोशल मीडिया
- सॉफ्टवेयर
- सॉफ्टवेयर विकास
- समाधान
- समाधान ढूंढे
- हल
- स्रोत
- सूत्रों का कहना है
- स्पार्क
- विशिष्ट
- गति
- बिताना
- खर्च
- spikes के
- विभाजित
- धुआँरा
- राज्य
- कदम
- कदम
- स्टॉक
- भंडारण
- की दुकान
- संग्रहित
- स्ट्रेटेजी
- धारा
- स्ट्रीम किया
- स्ट्रीमिंग
- नदियों
- कठोर
- आगामी
- ऐसा
- पर्याप्त
- समर्थन
- समर्थन करता है
- प्रणाली
- तालिका
- लेना
- कार्य
- कार्य
- टीम
- है
- कि
- RSI
- जानकारी
- राज्य
- लेकिन हाल ही
- उन
- फिर
- वहाँ।
- इसलिये
- इन
- वे
- चीज़ें
- तीसरे दल
- इसका
- उन
- हजारों
- तीन
- यहाँ
- THROUGHPUT
- पहर
- समय श्रृंखला
- संवेदनशील समय
- सेवा मेरे
- आज
- साधन
- निशान
- ट्रैक
- ट्रैकिंग
- यातायात
- बदालना
- परिवर्तन
- बदलने
- यात्रा का
- रुझान
- दो
- आम तौर पर
- अप्रत्याशित
- के ऊपर
- प्रयोग
- उपयोग
- उदाहरण
- प्रयुक्त
- उपयोगकर्ता
- का उपयोग
- उपयोग
- सत्यापन
- मूल्य
- परिवर्तनशील
- विभिन्न
- वेग
- के माध्यम से
- वास्तविक
- दृष्टि
- दृश्य
- कल्पना
- आयतन
- संस्करणों
- करना चाहते हैं
- गोदाम
- भण्डारण
- देख
- we
- वेब
- वेब सेवाओं
- अच्छी तरह से परिभाषित
- क्या
- कब
- कौन कौन से
- जब
- कौन
- चौड़ा
- विस्तृत श्रृंखला
- मर्जी
- साथ में
- अंदर
- काम
- वर्कफ़्लो
- चिंता
- लिखना
- इसलिए आप
- आपका
- जेफिरनेट
- क्षेत्र