AWS Glue کے ساتھ MongoDB Atlas کے لیے اپنی ETL جابز کمپوز کریں۔

آج کے ڈیٹا سے چلنے والے کاروباری ماحول میں، تنظیموں کو تجزیات اور ڈیٹا سائنس کے مقاصد کے لیے بڑی مقدار میں ڈیٹا کو مؤثر طریقے سے تیار کرنے اور تبدیل کرنے کے چیلنج کا سامنا ہے۔ کاروباری اداروں کو آپریشنل ڈیٹا کی بنیاد پر ڈیٹا گودام اور ڈیٹا لیکس بنانے کی ضرورت ہے۔ یہ مختلف ذرائع سے آنے والے ڈیٹا کو سنٹرلائز اور انٹیگریٹ کرنے کی ضرورت سے کارفرما ہے۔

ایک ہی وقت میں، آپریشنل ڈیٹا اکثر لیگیسی ڈیٹا اسٹورز کی حمایت یافتہ ایپلیکیشنز سے نکلتا ہے۔ ایپلی کیشنز کو جدید بنانے کے لیے ایک مائیکرو سروس فن تعمیر کی ضرورت ہوتی ہے، جس کے نتیجے میں ایک آپریشنل ڈیٹا اسٹور کی تعمیر کے لیے متعدد ذرائع سے ڈیٹا کو یکجا کرنے کی ضرورت ہوتی ہے۔ جدید کاری کے بغیر، میراثی ایپلی کیشنز دیکھ بھال کے بڑھتے ہوئے اخراجات اٹھا سکتے ہیں۔ ایپلی کیشنز کو جدید بنانے میں بنیادی ڈیٹا بیس انجن کو ایک جدید دستاویز پر مبنی ڈیٹا بیس جیسے MongoDB میں تبدیل کرنا شامل ہے۔

ان دو کاموں (ڈیٹا لیکس یا ڈیٹا گوداموں کی تعمیر اور ایپلیکیشن ماڈرنائزیشن) میں ڈیٹا کی نقل و حرکت شامل ہے، جس میں ایکسٹریکٹ، ٹرانسفارم، اور لوڈ (ETL) کا عمل استعمال ہوتا ہے۔ کامیاب ہونے کے لیے ETL جاب ایک اچھی ساختہ عمل کے لیے ایک کلیدی فعالیت ہے۔

AWS گلو ایک سرور لیس ڈیٹا انٹیگریشن سروس ہے جو تجزیات، مشین لرننگ (ML) اور ایپلیکیشن ڈویلپمنٹ کے لیے متعدد ذرائع سے ڈیٹا کو دریافت کرنے، تیار کرنے، منتقل کرنے اور انٹیگریٹ کرنے کو سیدھا بناتی ہے۔ مونگو ڈی بی اٹلس کلاؤڈ ڈیٹا بیس اور ڈیٹا سروسز کا ایک مربوط سوٹ ہے جو ایک خوبصورت اور مربوط فن تعمیر میں ٹرانزیکشنل پروسیسنگ، مطابقت پر مبنی تلاش، حقیقی وقت کے تجزیات اور موبائل سے کلاؤڈ ڈیٹا سنکرونائزیشن کو یکجا کرتا ہے۔

MongoDB Atlas کے ساتھ AWS Glue کا استعمال کرتے ہوئے، تنظیمیں اپنے ETL عمل کو ہموار کر سکتی ہیں۔ اپنے مکمل طور پر منظم، توسیع پذیر، اور محفوظ ڈیٹا بیس حل کے ساتھ، MongoDB Atlas آپریشنل ڈیٹا کو ذخیرہ کرنے اور اس کا انتظام کرنے کے لیے ایک لچکدار اور قابل اعتماد ماحول فراہم کرتا ہے۔ AWS Glue ETL اور MongoDB Atlas ایک ساتھ مل کر ان تنظیموں کے لیے ایک طاقتور حل ہیں جو یہ بہتر بنانے کے خواہاں ہیں کہ وہ کس طرح ڈیٹا لیکس اور ڈیٹا گودام بناتے ہیں، اور اپنی ایپلی کیشنز کو جدید بنانے کے لیے، کاروباری کارکردگی کو بہتر بنانے، لاگت کو کم کرنے، اور ترقی اور کامیابی کو آگے بڑھانے کے لیے۔

اس پوسٹ میں، ہم دکھاتے ہیں کہ ڈیٹا کو کیسے منتقل کیا جائے۔ ایمیزون سادہ اسٹوریج سروس (Amazon S3) AWS Glue ETL کا استعمال کرتے ہوئے MongoDB Atlas کو بالٹی، اور MongoDB Atlas سے ڈیٹا کو Amazon S3 پر مبنی ڈیٹا لیک میں کیسے نکالا جائے۔

حل جائزہ

اس پوسٹ میں، ہم مندرجہ ذیل استعمال کے معاملات کو دریافت کرتے ہیں:

• MongoDB سے ڈیٹا نکالنا - MongoDB ایک مقبول ڈیٹا بیس ہے جسے ہزاروں صارفین ایپلیکیشن ڈیٹا کو پیمانے پر ذخیرہ کرنے کے لیے استعمال کرتے ہیں۔ انٹرپرائز کے صارفین ڈیٹا لیکس اور ڈیٹا گودام بنا کر متعدد ڈیٹا اسٹورز سے آنے والے ڈیٹا کو مرکزی اور مربوط کر سکتے ہیں۔ اس عمل میں آپریشنل ڈیٹا اسٹورز سے ڈیٹا نکالنا شامل ہے۔ جب ڈیٹا ایک جگہ ہوتا ہے، تو صارفین اسے تیزی سے کاروباری ذہانت کی ضروریات یا ML کے لیے استعمال کر سکتے ہیں۔
• MongoDB میں ڈیٹا داخل کرنا - MongoDB ایپلیکیشن ڈیٹا کو ذخیرہ کرنے اور آپریشنل ڈیٹا اسٹورز بنانے کے لیے نو-SQL ڈیٹا بیس کے طور پر بھی کام کرتا ہے۔ ایپلی کیشنز کو جدید بنانے میں اکثر آپریشنل اسٹور کی MongoDB میں منتقلی شامل ہوتی ہے۔ صارفین کو متعلقہ ڈیٹا بیس یا فلیٹ فائلوں سے موجودہ ڈیٹا نکالنے کی ضرورت ہوگی۔ موبائل اور ویب ایپس کو اکثر ڈیٹا انجینئرز سے ڈیٹا پائپ لائنز بنانے کی ضرورت ہوتی ہے تاکہ اٹلس میں ڈیٹا کا ایک ہی منظر تخلیق کیا جا سکے جبکہ متعدد سائلڈ ذرائع سے ڈیٹا کو ہضم کیا جا سکے۔ اس منتقلی کے دوران، انہیں دستاویزات بنانے کے لیے مختلف ڈیٹا بیس میں شامل ہونے کی ضرورت ہوگی۔ اس پیچیدہ جوائننگ آپریشن کو اہم، ایک وقتی کمپیوٹ پاور کی ضرورت ہوگی۔ ڈیولپرز کو ڈیٹا کو منتقل کرنے کے لیے اسے تیزی سے بنانے کی بھی ضرورت ہوگی۔

AWS Glue ان معاملات میں پے-ایس-یو-گو ماڈل اور بڑے ڈیٹا سیٹس میں پیچیدہ تبدیلیوں کو چلانے کی صلاحیت کے ساتھ کام آتا ہے۔ ڈیولپرز اس طرح کے ڈیٹا پائپ لائنز کو موثر طریقے سے بنانے کے لیے AWS Glue Studio کا استعمال کر سکتے ہیں۔

مندرجہ ذیل خاکہ AWS Glue Studio کا استعمال کرتے ہوئے MongoDB Atlas سے S3 بالٹی میں ڈیٹا نکالنے کے ورک فلو کو دکھاتا ہے۔

اس فن تعمیر کو نافذ کرنے کے لیے، آپ کو ایک MongoDB Atlas کلسٹر، ایک S3 بالٹی، اور ایک AWS شناخت اور رسائی کا انتظام AWS گلو کے لیے (IAM) کا کردار۔ ان وسائل کو ترتیب دینے کے لیے، درج ذیل میں پیشگی اقدامات کا حوالہ دیں۔ GitHub repo.

مندرجہ ذیل اعداد و شمار AWS Glue کا استعمال کرتے ہوئے S3 بالٹی سے MongoDB Atlas میں ڈیٹا لوڈ ورک فلو کو دکھاتا ہے۔

یہاں بھی انہی شرائط کی ضرورت ہے: ایک S3 بالٹی، IAM رول، اور MongoDB Atlas کلسٹر۔

AWS Glue کا استعمال کرتے ہوئے Amazon S3 سے MongoDB Atlas میں ڈیٹا لوڈ کریں۔

مندرجہ ذیل مراحل بتاتے ہیں کہ AWS Glue جاب کا استعمال کرتے ہوئے S3 بالٹی سے ڈیٹا کو MongoDB Atlas میں کیسے لوڈ کیا جائے۔ MongoDB Atlas سے Amazon S3 تک نکالنے کا عمل بہت مماثل ہے، اسکرپٹ کے استعمال کے استثناء کے ساتھ۔ ہم دونوں عملوں کے درمیان فرق کو کہتے ہیں۔

1. ایک مفت کلسٹر بنائیں MongoDB Atlas میں۔
2. اپ لوڈ کریں نمونہ JSON فائل آپ کی S3 بالٹی میں۔
3. کے ساتھ ایک نئی AWS Glue Studio جاب بنائیں اسپارک اسکرپٹ ایڈیٹر آپشن.

4. اس پر منحصر ہے کہ آیا آپ MongoDB Atlas کلسٹر سے ڈیٹا لوڈ کرنا یا نکالنا چاہتے ہیں، درج کریں لوڈ سکرپٹ or سکرپٹ نکالیں AWS Glue Studio اسکرپٹ ایڈیٹر میں۔

مندرجہ ذیل اسکرین شاٹ MongoDB Atlas کلسٹر میں ڈیٹا لوڈ کرنے کے لیے کوڈ کا ٹکڑا دکھاتا ہے۔

کوڈ استعمال کرتا ہے۔ AWS سیکرٹس مینیجر MongoDB Atlas کلسٹر کا نام، صارف کا نام، اور پاس ورڈ بازیافت کرنے کے لیے۔ پھر، یہ تخلیق کرتا ہے a DynamicFrame S3 بالٹی اور فائل کے نام کے لیے اسکرپٹ کو پیرامیٹر کے طور پر منتقل کیا گیا۔ کوڈ ملازمت کے پیرامیٹرز کی ترتیب سے ڈیٹا بیس اور جمع کرنے کے ناموں کو بازیافت کرتا ہے۔ آخر میں، کوڈ لکھتا ہے DynamicFrame بازیافت شدہ پیرامیٹرز کا استعمال کرتے ہوئے MongoDB اٹلس کلسٹر میں۔

5. اجازتوں کے ساتھ ایک IAM رول بنائیں جیسا کہ درج ذیل اسکرین شاٹ میں دکھایا گیا ہے۔

مزید تفصیلات کے لئے ملاحظہ کریں اپنی ETL جاب کے لیے IAM رول کو ترتیب دیں۔.

6. نوکری کو ایک نام دیں اور پچھلے مرحلے میں تخلیق کردہ IAM رول فراہم کریں۔ ملازمت کی تفصیلات ٹیب.
7. آپ باقی پیرامیٹرز کو بطور ڈیفالٹ چھوڑ سکتے ہیں، جیسا کہ درج ذیل اسکرین شاٹس میں دکھایا گیا ہے۔
   
8. اگلا، کام کے پیرامیٹرز کی وضاحت کریں جو اسکرپٹ استعمال کرتا ہے اور پہلے سے طے شدہ اقدار فراہم کرتا ہے۔
   
9. کام کو بچائیں اور چلائیں۔
10. کامیاب دوڑ کی تصدیق کرنے کے لیے، اگر ڈیٹا لوڈ ہو رہا ہے تو MongoDB Atlas ڈیٹا بیس کے جمع کرنے کے مواد کا مشاہدہ کریں، یا S3 بالٹی کا مشاہدہ کریں اگر آپ اقتباس کر رہے ہیں۔

مندرجہ ذیل اسکرین شاٹ Amazon S3 بالٹی سے MongoDB Atlas کلسٹر میں کامیاب ڈیٹا لوڈ کے نتائج دکھاتا ہے۔ ڈیٹا اب MongoDB Atlas UI میں سوالات کے لیے دستیاب ہے۔

11. اپنے رنز کا ازالہ کرنے کے لیے، کا جائزہ لیں۔ ایمیزون کلاؤڈ واچ نوکری کے لنک کا استعمال کرتے ہوئے لاگ ان کریں۔ رن ٹیب.

مندرجہ ذیل اسکرین شاٹ سے پتہ چلتا ہے کہ کام کامیابی سے چلا، اضافی تفصیلات جیسے کہ CloudWatch لاگز کے لنکس۔

نتیجہ

اس پوسٹ میں، ہم نے بتایا کہ AWS Glue کا استعمال کرتے ہوئے MongoDB Atlas میں ڈیٹا کیسے نکالا جاتا ہے اور کیسے داخل کیا جاتا ہے۔

AWS Glue ETL جابز کے ساتھ، اب ہم ڈیٹا کو MongoDB Atlas سے AWS Glue کے موافق ذرائع میں منتقل کر سکتے ہیں، اور اس کے برعکس۔ آپ AWS AI اور ML سروسز کا استعمال کرتے ہوئے اینالیٹکس بنانے کے حل کو بھی بڑھا سکتے ہیں۔

مزید جاننے کے لیے، کا حوالہ دیں۔ GitHub ذخیرہ مرحلہ وار ہدایات اور نمونہ کوڈ کے لیے۔ آپ خرید سکتے ہیں۔ مونگو ڈی بی اٹلس AWS مارکیٹ پلیس پر۔

---

مصنفین کے بارے میں

ایگور الیکسیف ڈیٹا اور تجزیات کے ڈومین میں AWS میں ایک سینئر پارٹنر سلوشن آرکیٹیکٹ ہے۔ اپنے کردار میں Igor سٹریٹجک شراکت داروں کے ساتھ کام کر رہا ہے جو انہیں پیچیدہ، AWS سے بہتر بنائے گئے فن تعمیرات کی تعمیر میں مدد کر رہا ہے۔ AWS میں شامل ہونے سے پہلے، بطور ڈیٹا/سولیوشن آرکیٹیکٹ اس نے بگ ڈیٹا ڈومین میں بہت سے پروجیکٹس کو لاگو کیا، بشمول ہڈوپ ایکو سسٹم میں کئی ڈیٹا لیکس۔ ڈیٹا انجینئر کے طور پر وہ فراڈ کا پتہ لگانے اور آفس آٹومیشن کے لیے AI/ML کا اطلاق کرنے میں ملوث تھا۔

بابو سری نواسن MongoDB میں ایک سینئر پارٹنر سلوشنز آرکیٹیکٹ ہے۔ اپنے موجودہ کردار میں، وہ AWS اور MongoDB سلوشنز کے لیے تکنیکی انضمام اور ریفرنس آرکیٹیکچرز بنانے کے لیے AWS کے ساتھ کام کر رہا ہے۔ اسے ڈیٹا بیس اور کلاؤڈ ٹیکنالوجیز میں دو دہائیوں سے زیادہ کا تجربہ ہے۔ وہ متعدد جغرافیوں میں متعدد گلوبل سسٹم انٹیگریٹرز (GSIs) کے ساتھ کام کرنے والے صارفین کو تکنیکی حل فراہم کرنے کے بارے میں پرجوش ہیں۔

• SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
• پلیٹوآئ اسٹریم۔ ویب 3 ڈیٹا انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
• ایڈریین ایشلے کے ساتھ مستقبل کا نقشہ بنانا۔ یہاں تک رسائی حاصل کریں۔
• PREIPO® کے ساتھ PRE-IPO کمپنیوں میں حصص خریدیں اور بیچیں۔ یہاں تک رسائی حاصل کریں۔
• ماخذ: https://aws.amazon.com/blogs/big-data/compose-your-etl-jobs-for-mongodb-atlas-with-aws-glue/