پوسٹ میں متعارف کرایا جا رہا ہے AWS ProServe Hadoop Migration Delivery Kit TCO ٹول، ہم نے AWS ProServe Hadoop Migration Delivery Kit (HMDK) TCO ٹول متعارف کرایا اور آن پریمیسس ہڈوپ ورک بوجھ کو منتقل کرنے کے فوائد ایمیزون ای ایم آر. اس پوسٹ میں، ہم ٹول کی گہرائی میں غوطہ لگاتے ہیں، TCO کا حساب لگانے کے لیے لاگ انگزیشن، ٹرانسفارمیشن، ویژولائزیشن، اور آرکیٹیکچر ڈیزائن سے لے کر تمام مراحل سے گزرتے ہیں۔
حل جائزہ
آئیے مختصراً HMDK TCO ٹول کی اہم خصوصیات کا جائزہ لیتے ہیں۔ ٹول یارن لاگ جمع کرنے کے لیے ہڈوپ ریسورس مینیجر کو جوڑنے کے لیے یارن لاگ کلیکٹر فراہم کرتا ہے۔ ایک ازگر پر مبنی ہڈوپ ورک لوڈ تجزیہ کار، جسے YARN لاگ انالائزر کہا جاتا ہے، ہڈوپ ایپلی کیشنز کی جانچ پڑتال کرتا ہے۔ ایمیزون کوئیک سائٹ ڈیش بورڈز تجزیہ کار سے نتائج ظاہر کرتے ہیں۔ یہی نتائج مستقبل کے EMR مثالوں کے ڈیزائن کو بھی تیز کرتے ہیں۔ مزید برآں، ایک TCO کیلکولیٹر نقل مکانی کی سہولت کے لیے ایک بہتر EMR کلسٹر کا TCO تخمینہ تیار کرتا ہے۔
اب دیکھتے ہیں کہ یہ ٹول کیسے کام کرتا ہے۔ درج ذیل خاکہ آخر سے آخر تک ورک فلو کو واضح کرتا ہے۔
اگلے حصوں میں، ہم ٹول کے پانچ اہم مراحل سے گزرتے ہیں:
- YARN جاب ہسٹری لاگز جمع کریں۔
- جاب ہسٹری لاگز کو JSON سے CSV میں تبدیل کریں۔
- جاب ہسٹری لاگز کا تجزیہ کریں۔
- منتقلی کے لیے ایک EMR کلسٹر ڈیزائن کریں۔
- TCO کا حساب لگائیں۔
شرائط
شروع کرنے سے پہلے، درج ذیل شرائط کو پورا کرنا یقینی بنائیں:
- کلون hadoop-migration-assessment-tco ذخیرہ.
- اپنی مقامی مشین پر ازگر 3 انسٹال کریں۔
- اجازت کے ساتھ AWS اکاؤنٹ رکھیں او ڈبلیو ایس لامبڈا۔، QuickSight (انٹرپرائز ایڈیشن)، اور AWS کلاؤڈ فارمیشن.
YARN جاب ہسٹری لاگز جمع کریں۔
سب سے پہلے، آپ ایک چلاتے ہیں یارن لاگ جمع کرنے والا, start-collector.sh، آپ کی مقامی مشین پر۔ یہ مرحلہ ہڈوپ یارن لاگز کو جمع کرتا ہے اور لاگز کو آپ کی مقامی مشین پر رکھتا ہے۔ اسکرپٹ آپ کی مقامی مشین کو Hadoop پرائمری نوڈ سے جوڑتا ہے اور ریسورس مینیجر کے ساتھ بات چیت کرتا ہے۔ پھر یہ YARN ResourceManager ایپلیکیشن API کو کال کرکے جاب ہسٹری کی معلومات (ایپلی کیشن مینیجرز سے یارن لاگز) بازیافت کرتا ہے۔
یارن لاگ کلیکٹر کو چلانے سے پہلے، آپ کو یارن ریسورس مینیجر کی رسائی کی تصدیق کرنے کے لیے کنکشن (HTTP: 8088 یا HTTPS: 8090؛ بعد میں تجویز کیا جاتا ہے) کو ترتیب دینے اور قائم کرنے کی ضرورت ہے اور YARN ٹائم لائن سرور کو فعال کرنا ہوگا (ٹائم لائن سرور v1 یا اس کے بعد کے ورژن تعاون یافتہ ہیں۔ )۔ آپ کو یارن لاگز کے جمع کرنے کا وقفہ اور برقرار رکھنے کی پالیسی کی وضاحت کرنے کی ضرورت ہو سکتی ہے۔ اس بات کو یقینی بنانے کے لیے کہ آپ لگاتار یارن لاگز جمع کرتے ہیں، آپ لاگ کلیکٹر کو مناسب وقت کے وقفے میں شیڈول کرنے کے لیے کرون جاب استعمال کر سکتے ہیں۔ مثال کے طور پر، 2,000 روزانہ ایپلی کیشنز کے ساتھ Hadoop کلسٹر کے لیے اور yarn.resourcemanager.max-completed-applications کی ترتیب 1,000 پر سیٹ کی گئی ہے، نظریاتی طور پر، آپ کو تمام YARN لاگز حاصل کرنے کے لیے کم از کم دو بار لاگ کلیکٹر چلانا ہوگا۔ اس کے علاوہ، ہم مجموعی کام کے بوجھ کا تجزیہ کرنے کے لیے کم از کم 7 دنوں کے یارن لاگ جمع کرنے کی تجویز کرتے ہیں۔
لاگ کلیکٹر کو ترتیب دینے اور شیڈول کرنے کے طریقے کے بارے میں مزید تفصیلات کے لیے، ملاحظہ کریں۔ yarn-log-colector GitHub repo.
YARN جاب ہسٹری لاگز کو JSON سے CSV میں تبدیل کریں۔
یارن لاگز حاصل کرنے کے بعد، آپ یارن لاگ آرگنائزر چلاتے ہیں، yarn-log-organizer.py، جو JSON پر مبنی لاگز کو CSV فائلوں میں تبدیل کرنے کے لیے ایک تجزیہ کار ہے۔ یہ آؤٹ پٹ CSV فائلیں YARN لاگ انالائزر کے لیے ان پٹ ہیں۔ تجزیہ کار کے پاس دیگر صلاحیتیں بھی ہیں، بشمول وقت کے لحاظ سے واقعات کو ترتیب دینا، وقفوں کو ہٹانا، اور متعدد لاگز کو ضم کرنا۔
YARN لاگ آرگنائزر کو استعمال کرنے کے طریقے کے بارے میں مزید معلومات کے لیے، ملاحظہ کریں۔ yarn-log-organizer GitHub repo.
YARN جاب ہسٹری لاگز کا تجزیہ کریں۔
اس کے بعد، آپ CSV فارمیٹ میں یارن لاگز کا تجزیہ کرنے کے لیے یارن لاگ انالائزر کو لانچ کرتے ہیں۔
QuickSight کے ساتھ، آپ YARN لاگ ڈیٹا کا تصور کر سکتے ہیں اور پہلے سے تیار کردہ ڈیش بورڈ ٹیمپلیٹس اور ویجیٹ کے ذریعے تیار کردہ ڈیٹاسیٹس کے خلاف تجزیہ کر سکتے ہیں۔ ویجیٹ خود بخود ٹارگٹ AWS اکاؤنٹ میں QuickSight ڈیش بورڈز بناتا ہے، جو CloudFormation ٹیمپلیٹ میں کنفیگر ہوتا ہے۔
مندرجہ ذیل خاکہ HMDK TCO فن تعمیر کو واضح کرتا ہے۔
یارن لاگ انالائزر چار اہم افعال فراہم کرتا ہے:
- تبدیل شدہ YARN جاب ہسٹری لاگز کو CSV فارمیٹ میں اپ لوڈ کریں (مثال کے طور پر،
cluster_yarn_logs_*.csv
کے) ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) بالٹیاں۔ یہ CSV فائلیں YARN لاگ آرگنائزر کے آؤٹ پٹ ہیں۔ - ایک مینی فیسٹ JSON فائل بنائیں (مثال کے طور پر،
yarn-log-manifest.json
QuickSight کے لیے اور اسے S3 بالٹی پر اپ لوڈ کریں: - CloudFormation ٹیمپلیٹ کا استعمال کرتے ہوئے QuickSight ڈیش بورڈز تعینات کریں، جو YAML فارمیٹ میں ہے۔ تعینات کرنے کے بعد، ریفریش آئیکن کو منتخب کریں جب تک کہ آپ کو اسٹیک کی حیثیت نظر نہ آئے
CREATE_COMPLETE
. یہ مرحلہ آپ کے AWS ٹارگٹ اکاؤنٹ میں QuickSight ڈیش بورڈز پر ڈیٹا سیٹ بناتا ہے۔ - QuickSight ڈیش بورڈ پر، آپ مختلف چارٹس سے تجزیہ کردہ Hadoop کام کے بوجھ کی بصیرت حاصل کر سکتے ہیں۔ یہ بصیرتیں آپ کو منتقلی کے سرعت کے لیے مستقبل کے EMR مثالوں کو ڈیزائن کرنے میں مدد کرتی ہیں، جیسا کہ اگلے مرحلے میں دکھایا گیا ہے۔
منتقلی کے لیے ایک EMR کلسٹر ڈیزائن کریں۔
یارن لاگ انالائزر کے نتائج آپ کو موجودہ سسٹم پر اصل ہڈوپ ورک بوجھ کو سمجھنے میں مدد کرتے ہیں۔ یہ قدم ایک کا استعمال کرکے ہجرت کے لیے مستقبل کے EMR مثالوں کو ڈیزائن کرنے میں تیزی لاتا ہے۔ ایکسل ٹیمپلیٹ. ٹیمپلیٹ میں کام کے بوجھ کے تجزیہ اور صلاحیت کی منصوبہ بندی کرنے کے لیے ایک چیک لسٹ شامل ہے:
- کیا کلسٹر پر چلنے والی ایپلیکیشنز کو ان کی موجودہ صلاحیت کے ساتھ مناسب طریقے سے استعمال کیا جا رہا ہے؟
- کیا کلسٹر ایک خاص وقت پر بوجھ کے نیچے ہے یا نہیں؟ اگر ایسا ہے تو وقت کب ہے؟
- کلسٹر پر کس قسم کی ایپلی کیشنز اور انجن (جیسے MR، TEZ، یا Spark) چل رہے ہیں، اور ہر قسم کے لیے وسائل کا استعمال کیا ہے؟
- کیا مختلف جابز کے رن سائیکل (ریئل ٹائم، بیچ، ایڈہاک) ایک کلسٹر میں چل رہے ہیں؟
- کیا کوئی ملازمتیں باقاعدہ بیچوں میں چل رہی ہیں، اور اگر ایسا ہے تو، یہ شیڈول کے وقفے کیا ہیں؟ (مثال کے طور پر، ہر 10 منٹ، 1 گھنٹہ، 1 دن۔) کیا آپ کے پاس ایسی ملازمتیں ہیں جو طویل عرصے کے دوران بہت سارے وسائل استعمال کرتی ہیں؟
- کیا کسی بھی ملازمت کو کارکردگی میں بہتری کی ضرورت ہے؟
- کیا کوئی مخصوص تنظیمیں یا افراد کلسٹر پر اجارہ داری کر رہے ہیں؟
- کیا کوئی مخلوط ترقی اور آپریشن کی ملازمتیں ایک کلسٹر میں کام کر رہی ہیں؟
چیک لسٹ مکمل کرنے کے بعد، آپ کو مستقبل کے فن تعمیر کو کس طرح ڈیزائن کرنا ہے اس کی بہتر تفہیم ہوگی۔ EMR کلسٹر لاگت کی تاثیر کو بہتر بنانے کے لیے، مندرجہ ذیل جدول EMR کلسٹر کی مناسب قسم کے انتخاب کے لیے عمومی رہنما خطوط فراہم کرتا ہے اور ایمیزون لچکدار کمپیوٹ کلاؤڈ (ایمیزون ای سی 2) فیملی۔
مناسب کلسٹر کی قسم اور مثال کے خاندان کا انتخاب کرنے کے لیے، آپ کو مختلف معیاروں کی بنیاد پر یارن لاگز کے خلاف تجزیہ کے کئی دور کرنے کی ضرورت ہے۔ آئیے کچھ کلیدی میٹرکس دیکھیں۔
ٹائم لائن
آپ ٹائم ونڈو میں چلنے والی ہڈوپ ایپلی کیشنز کی تعداد کی بنیاد پر کام کے بوجھ کے نمونے تلاش کر سکتے ہیں۔ مثال کے طور پر، روزانہ یا گھنٹہ وار چارٹ "شروع کے وقت کے حساب سے ریکارڈز" درج ذیل بصیرت فراہم کرتے ہیں:
- روزانہ ٹائم سیریز کے چارٹس میں، آپ کام کے دنوں اور چھٹیوں کے درمیان اور کیلنڈر کے دنوں کے درمیان ایپلیکیشن چلانے کی تعداد کا موازنہ کرتے ہیں۔ اگر اعداد ایک جیسے ہیں، تو اس کا مطلب ہے کہ کلسٹر کے روزانہ استعمال کا موازنہ کیا جا سکتا ہے۔ دوسری طرف، اگر انحراف بڑا ہے، تو ایڈہاک ملازمتوں کا تناسب نمایاں ہے۔ آپ مخصوص دنوں میں ممکنہ ہفتہ وار یا ماہانہ ملازمتوں کا بھی پتہ لگا سکتے ہیں۔ صورت حال میں، آپ آسانی سے کام کے بوجھ کے زیادہ ارتکاز کے ساتھ ہفتے یا ایک مہینے میں مخصوص دن دیکھ سکتے ہیں۔
- فی گھنٹہ ٹائم سیریز کے چارٹس میں، آپ مزید سمجھتے ہیں کہ ایپلیکیشنز کو گھنٹہ وار ونڈوز میں کیسے چلایا جاتا ہے۔ آپ ایک دن میں چوٹی اور آف پیک گھنٹے تلاش کر سکتے ہیں۔
صارفین
یارن لاگز میں ہر درخواست کی صارف ID ہوتی ہے۔ یہ معلومات آپ کو یہ سمجھنے میں مدد کرتی ہے کہ قطار میں کون درخواست جمع کراتا ہے۔ فی قطار اور فی صارف چلانے والے انفرادی اور مجموعی ایپلیکیشن کے اعدادوشمار کی بنیاد پر، آپ صارف کے لحاظ سے موجودہ کام کے بوجھ کی تقسیم کا تعین کر سکتے ہیں۔ عام طور پر، ایک ہی ٹیم کے صارفین نے قطاریں شیئر کی ہیں۔ کبھی کبھی، متعدد ٹیموں نے قطاریں شیئر کی ہیں۔ صارفین کے لیے قطاروں کو ڈیزائن کرتے وقت، اب آپ کے پاس ایپلیکیشن ورک بوجھ کو ڈیزائن اور تقسیم کرنے میں مدد کرنے کے لیے بصیرتیں ہیں جو قطاروں میں پہلے کی نسبت زیادہ متوازن ہیں۔
درخواست کی اقسام۔
آپ مختلف ایپلیکیشن اقسام (جیسے Hive، Spark، Presto، یا HBase) کی بنیاد پر کام کے بوجھ کو تقسیم کر سکتے ہیں اور انجن چلا سکتے ہیں (جیسے MR، Spark، یا Tez)۔ کمپیوٹ کے بھاری کام کے بوجھ جیسے MapReduce یا Hive-on-MR جابز کے لیے، CPU سے بہتر مثالیں استعمال کریں۔ Hive-on-TEZ، Presto، اور Spark جابز جیسے میموری سے متعلق کام کے بوجھ کے لیے، میموری کے لیے موزوں مثالیں استعمال کریں۔
گزرا وقت
آپ رن ٹائم کے لحاظ سے ایپلی کیشنز کی درجہ بندی کر سکتے ہیں۔ ایمبیڈڈ CloudFormation ٹیمپلیٹ خود بخود QuickSight ڈیش بورڈ میں ایک elapsedGroup فیلڈ بناتا ہے۔ یہ ایک اہم خصوصیت کو قابل بناتا ہے جو آپ کو QuickSight ڈیش بورڈز پر چار چارٹس میں سے ایک میں طویل عرصے سے چلنے والی ملازمتوں کا مشاہدہ کرنے کی اجازت دیتا ہے۔ اس لیے، آپ ان بڑی ملازمتوں کے لیے مستقبل کے فن تعمیرات کے مطابق ڈیزائن کر سکتے ہیں۔
متعلقہ QuickSight ڈیش بورڈز میں چار چارٹس شامل ہیں۔ آپ ہر چارٹ کو ڈرل کر سکتے ہیں، جو ایک گروپ سے وابستہ ہے۔
گروپ نمبر |
کام کا رن ٹائم / گزرا ہوا وقت |
1 | 10 منٹ سے کم |
2 | 10 منٹ اور 30 منٹ کے درمیان |
3 | 30 منٹ اور 1 گھنٹہ کے درمیان |
4 | 1 گھنٹے سے زیادہ |
گروپ 4 کے چارٹ میں، آپ مختلف میٹرکس، بشمول صارف، قطار، درخواست کی قسم، ٹائم لائن، وسائل کا استعمال، وغیرہ کی بنیاد پر بڑی ملازمتوں کی چھان بین پر توجہ مرکوز کر سکتے ہیں۔ اس غور کی بنیاد پر، آپ کے پاس بڑی ملازمتوں کے لیے کلسٹر یا وقف EMR کلسٹر پر قطاریں لگ سکتی ہیں۔ دریں اثنا، آپ مشترکہ قطاروں میں چھوٹی ملازمتیں جمع کروا سکتے ہیں۔
وسائل
وسائل (CPU، میموری) کے استعمال کے نمونوں کی بنیاد پر، آپ کارکردگی اور لاگت کی تاثیر کے لیے EC2 مثالوں کے صحیح سائز اور خاندان کا انتخاب کرتے ہیں۔ کمپیوٹ-انٹینسیو ایپلی کیشنز کے لیے، ہم سی پی یو کے لیے موزوں خاندانوں کی مثالیں تجویز کرتے ہیں۔ میموری سے متعلق ایپلی کیشنز کے لیے، میموری سے بہتر مثال کے خاندانوں کی سفارش کی جاتی ہے۔
اس کے علاوہ، وقت کے ساتھ ایپلی کیشن کے کام کے بوجھ اور وسائل کے استعمال کی نوعیت کی بنیاد پر، آپ ایک مستقل یا عارضی EMR کلسٹر کا انتخاب کر سکتے ہیں، EKS پر ایمیزون EMR، یا ایمیزون EMR سرور لیس.
مختلف میٹرکس کے ذریعے یارن لاگز کا تجزیہ کرنے کے بعد، آپ مستقبل کے EMR فن تعمیر کو ڈیزائن کرنے کے لیے تیار ہیں۔ درج ذیل جدول میں مجوزہ EMR کلسٹرز کی مثالیں درج ہیں۔ آپ کو مزید تفصیلات میں مل سکتی ہیں۔ optimized-tco-calculator GitHub repo.
TCO کا حساب لگائیں۔
آخر میں، اپنی مقامی مشین پر، آپٹمائزڈ TCO کا حساب لگانے کے لیے ایکسل ٹیمپلیٹ استعمال کرنے سے پہلے ایک گھنٹہ کی بنیاد پر YARN جاب ہسٹری لاگز کو جمع کرنے کے لیے tco-input-generator.py چلائیں۔ یہ قدم اہم ہے کیونکہ نتائج مستقبل کے EMR مثالوں میں Hadoop کام کے بوجھ کی نقل کرتے ہیں۔
TCO تخروپن کی شرط چلانے کے لئے ہے tco-input-generator.py
، جو فی گھنٹہ جمع شدہ لاگز تیار کرتا ہے۔ اس کے بعد، آپ میکرو کو فعال کرنے کے لیے ایکسل ٹیمپلیٹ فائل کھولتے ہیں اور TCO کا حساب لگانے کے لیے اپنے ان پٹ گرین سیلز میں فراہم کرتے ہیں۔ ان پٹ ڈیٹا کے بارے میں، آپ بغیر نقل کے اصل ڈیٹا کا سائز، اور Hadoop پرائمری نوڈ اور ڈیٹا نوڈس کے ہارڈویئر کی تفصیلات (vCore، mem) درج کرتے ہیں۔ آپ کو پہلے سے تیار کردہ گھنٹے کے حساب سے جمع شدہ لاگز کو منتخب اور اپ لوڈ کرنے کی بھی ضرورت ہے۔ TCO سمولیشن متغیرات سیٹ کرنے کے بعد، جیسے کہ علاقہ، EC2 قسم، Amazon EMR زیادہ دستیابی، انجن کا اثر، Amazon EC2 اور Amazon EBS ڈسکاؤنٹ (EDP)، Amazon S3 والیوم ڈسکاؤنٹ، مقامی کرنسی کی شرح، اور EMR EC2 ٹاسک/کور قیمت کا تناسب اور قیمت/گھنٹہ، TCO سمیلیٹر خود بخود ایمیزون EC2 پر مستقبل کے EMR مثالوں کی زیادہ سے زیادہ قیمت کا حساب لگاتا ہے۔ مندرجہ ذیل اسکرین شاٹس HMDK TCO نتائج کی ایک مثال دکھاتے ہیں۔
HMDK TCO حسابات کی اضافی معلومات اور ہدایات کے لیے، ملاحظہ کریں۔ optimized-tco-calculator GitHub repo.
صاف کرو
تمام مراحل مکمل کرنے اور ٹیسٹنگ مکمل کرنے کے بعد، اخراجات سے بچنے کے لیے وسائل کو حذف کرنے کے لیے درج ذیل اقدامات مکمل کریں:
- AWS CloudFormation کنسول پر، اپنے بنائے ہوئے اسٹیک کو منتخب کریں۔
- میں سے انتخاب کریں خارج کر دیں.
- میں سے انتخاب کریں اسٹیک کو حذف کریں۔.
- صفحہ کو ریفریش کریں جب تک کہ آپ اسٹیٹس نہ دیکھیں
DELETE_COMPLETE
. - Amazon S3 کنسول پر، آپ کی بنائی ہوئی S3 بالٹی کو حذف کریں۔
نتیجہ
AWS ProServe HMDK TCO ٹول ہجرت کی منصوبہ بندی کی کوششوں کو نمایاں طور پر کم کرتا ہے، جو آپ کے ہڈوپ ورک بوجھ کا اندازہ لگانے کے لیے وقت طلب اور چیلنجنگ کام ہیں۔ HMDK TCO ٹول کے ساتھ، تشخیص میں عام طور پر 2-3 ہفتے لگتے ہیں۔ آپ مستقبل کے EMR فن تعمیر کے حسابی TCO کا بھی تعین کر سکتے ہیں۔ HMDK TCO ٹول کے ساتھ، آپ اپنے کام کے بوجھ اور وسائل کے استعمال کے نمونوں کو تیزی سے سمجھ سکتے ہیں۔ ٹول کے ذریعے پیدا کردہ بصیرت کے ساتھ، آپ مستقبل کے بہترین EMR فن تعمیرات کو ڈیزائن کرنے کے لیے لیس ہیں۔ استعمال کے بہت سے معاملات میں، آپٹمائزڈ ریفیکٹرڈ آرکیٹیکچر کا 1 سالہ TCO لفٹ اینڈ شفٹ ہڈوپ ہجرت کے مقابلے کمپیوٹ اور سٹوریج پر نمایاں لاگت کی بچت (64–80% کمی) فراہم کرتا ہے۔
ایمیزون EMR اور HMDK CTO ٹول میں اپنی ہڈوپ منتقلی کو تیز کرنے کے بارے میں مزید جاننے کے لیے، ملاحظہ کریں ہڈوپ مائیگریشن ڈیلیوری کٹ TCO GitHub ریپو، یا تک پہنچیں۔ AWS-HMDK@amazon.com.
مصنفین کے بارے میں
سنگیول پارک AWS ProServe میں ایک سینئر پریکٹس مینیجر ہے۔ وہ صارفین کو AWS Analytics، IoT، اور AI/ML خدمات کے ساتھ اپنے کاروبار کو اختراع کرنے میں مدد کرتا ہے۔ اس کے پاس بڑی ڈیٹا سروسز اور ٹیکنالوجیز میں خصوصیت ہے اور کسٹمر کے کاروبار کے نتائج کو ایک ساتھ بنانے میں دلچسپی ہے۔
جیسونگ کم AWS ProServe میں ایک سینئر ڈیٹا آرکیٹیکٹ ہے۔ وہ بنیادی طور پر ڈیٹا لیک کی منتقلی اور جدید کاری میں مدد کے لیے انٹرپرائز صارفین کے ساتھ کام کرتا ہے، اور ہڈوپ، اسپارک، ڈیٹا ویئر ہاؤسنگ، ریئل ٹائم ڈیٹا پروسیسنگ، اور بڑے پیمانے پر مشین لرننگ جیسے بڑے ڈیٹا پروجیکٹس پر رہنمائی اور تکنیکی مدد فراہم کرتا ہے۔ وہ یہ بھی سمجھتا ہے کہ ڈیٹا کے بڑے مسائل کو حل کرنے اور ایک اچھی طرح سے ڈیزائن کردہ ڈیٹا فن تعمیر کے لیے ٹیکنالوجیز کو کیسے لاگو کیا جائے۔
جارج ژاؤ AWS ProServe میں ایک سینئر ڈیٹا آرکیٹیکٹ ہے۔ وہ جدید ڈیٹا حل فراہم کرنے کے لیے AWS صارفین کے ساتھ کام کرنے والے ایک تجربہ کار تجزیاتی رہنما ہیں۔ وہ ProServe Amazon EMR ڈومین کا ماہر بھی ہے جو ProServe کنسلٹنٹس کو Hadoop سے Amazon EMR منتقلی کے لیے بہترین طریقوں اور ڈیلیوری کٹس کے قابل بناتا ہے۔ اس کی دلچسپی کا شعبہ ڈیٹا لیکس اور کلاؤڈ ماڈرن ڈیٹا آرکیٹیکچر ڈیلیوری ہے۔
کیلن ژانگ AWS میں پارٹنر ڈیٹا اور تجزیات کے گلوبل سیگمنٹ ٹیک لیڈ تھے۔ ڈیٹا اور اینالیٹکس کی ایک قابل اعتماد مشیر کے طور پر، اس نے ڈیٹا ٹرانسفارمیشن، لیڈ ڈیٹا اور اینالیٹکس ورک لوڈ مائیگریشن اور ماڈرنائزیشن پروگرامز، اور پیمانے پر شراکت داروں کے ساتھ صارفین کی منتقلی کے سفر کو تیز کیا۔ وہ تقسیم شدہ نظام، انٹرپرائز ڈیٹا مینجمنٹ، جدید تجزیات، اور بڑے پیمانے پر اسٹریٹجک اقدامات میں مہارت رکھتی ہے۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو بلاک چین۔ Web3 Metaverse Intelligence. علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/big-data/deep-dive-into-the-aws-proserve-hadoop-migration-delivery-kit-tco-tool/
- 000
- 1
- 10
- 100
- 7
- a
- قابلیت
- ہمارے بارے میں
- رفتار کو تیز تر
- تیز
- تیز رفتار
- تیز
- تیزی
- رسائی پذیری
- اکاؤنٹ
- کے پار
- Ad
- اس کے علاوہ
- ایڈیشنل
- اضافی معلومات
- اس کے علاوہ
- اعلی درجے کی
- مشیر
- کے بعد
- کے خلاف
- AI / ML
- تمام
- ایمیزون
- ایمیزون EC2
- ایمیزون ای ایم آر
- کے درمیان
- تجزیہ
- تجزیاتی
- تجزیے
- تجزیہ
- اور
- اے پی آئی
- درخواست
- ایپلی کیشنز
- کا اطلاق کریں
- مناسب طریقے سے
- فن تعمیر
- رقبہ
- تشخیص
- اسسٹنس
- منسلک
- خود کار طریقے سے
- دستیابی
- AWS
- AWS کلاؤڈ فارمیشن
- کی بنیاد پر
- بنیاد
- کیونکہ
- کیا جا رہا ہے
- فوائد
- BEST
- بہترین طریقوں
- بہتر
- کے درمیان
- بگ
- بگ ڈیٹا
- مختصر
- تعمیر
- عمارت
- کاروبار
- حساب
- حساب
- حساب کرتا ہے
- حساب
- کیلنڈر
- کہا جاتا ہے
- بلا
- صلاحیتوں
- اہلیت
- مقدمات
- خلیات
- کچھ
- چیلنج
- چارٹ
- چارٹس
- میں سے انتخاب کریں
- منتخب کریں
- بادل
- کلسٹر
- جمع
- جمع
- مجموعہ
- کلیکٹر
- جمع کرتا ہے
- COM
- موازنہ
- موازنہ
- مقابلے میں
- مکمل
- کمپیوٹنگ
- توجہ
- دھیان
- سلوک
- چل رہا ہے
- رابطہ قائم کریں
- کنکشن
- جڑتا
- مسلسل
- غور
- کنسول
- کنسلٹنٹس
- کھپت
- پر مشتمل ہے
- اسی کے مطابق
- قیمت
- لاگت کی بچت
- اخراجات
- CPU
- بنائی
- پیدا
- معیار
- اہم
- CTO
- cured
- کرنسی
- موجودہ
- گاہک
- گاہکوں
- سائیکل
- روزانہ
- ڈیش بورڈ
- اعداد و شمار
- ڈیٹا لیک
- ڈیٹا مینجمنٹ
- ڈیٹا پروسیسنگ
- ڈیٹاسیٹس
- دن
- دن
- وقف
- گہری
- گہری ڈبکی
- نجات
- ترسیل
- demonstrated,en
- تعینات
- ڈیزائن
- ڈیزائننگ
- تفصیلات
- اس بات کا تعین
- ترقی
- انحراف
- مختلف
- ڈسکاؤنٹ
- تقسیم کرو
- تقسیم کئے
- تقسیم شدہ نظام
- تقسیم
- ڈومین
- نیچے
- کے دوران
- ہر ایک
- آسانی سے
- ebs
- ایڈیشن
- اثر
- تاثیر
- کوششوں
- ایمبیڈڈ
- کو چالو کرنے کے
- چالو حالت میں
- کے قابل بناتا ہے
- آخر سے آخر تک
- انجن
- انجن
- کو یقینی بنانے کے
- درج
- انٹرپرائز
- انٹرپرائز گاہکوں
- لیس
- قائم کرو
- Ether (ETH)
- واقعات
- ہر کوئی
- مثال کے طور پر
- مثال کے طور پر
- ایکسل
- موجودہ
- تجربہ کار
- سہولت
- خاندانوں
- خاندان
- نمایاں کریں
- خصوصیات
- میدان
- اعداد و شمار
- فائل
- فائلوں
- مل
- ختم
- کے بعد
- فارمیٹ
- سے
- افعال
- مزید
- مستقبل
- جنرل
- پیدا
- پیدا ہوتا ہے
- حاصل
- حاصل کرنے
- GitHub کے
- گلوبل
- سبز
- گروپ
- ہدایات
- حدووپ
- ہارڈ ویئر
- مدد
- مدد کرتا ہے
- ہائی
- تاریخ
- چھتہ
- تعطیلات
- کلی
- HOURS
- کس طرح
- کیسے
- HTML
- HTTPS
- آئکن
- بہتری
- in
- شامل
- سمیت
- انفرادی
- افراد
- معلومات
- اقدامات
- اختراعات
- ان پٹ
- بصیرت
- مثال کے طور پر
- ہدایات
- دلچسپی
- مفادات
- متعارف
- IOT
- IT
- ایوب
- نوکریاں
- سفر
- JSON
- کلیدی
- کٹ
- جھیل
- بڑے
- بڑے پیمانے پر
- شروع
- قیادت
- رہنما
- جانیں
- سیکھنے
- قیادت
- لیڈ ڈیٹا
- فہرستیں
- لوڈ
- مقامی
- لانگ
- طویل وقت
- دیکھو
- بہت
- مشین
- مشین لرننگ
- میکرو
- مین
- بنا
- انتظام
- مینیجر
- مینیجر
- بہت سے
- کا مطلب ہے کہ
- دریں اثناء
- یاد داشت
- ضم
- پیمائش کا معیار
- منتقلی
- منٹ
- مخلوط
- جدید
- جدیدیت
- مہینہ
- ماہانہ
- زیادہ
- ایک سے زیادہ
- فطرت، قدرت
- ضرورت ہے
- اگلے
- نوڈ
- نوڈس
- تعداد
- تعداد
- مشاہدہ
- حاصل کرنا
- ایک
- کھول
- کام
- آپریشن
- زیادہ سے زیادہ
- اصلاح
- اصلاح
- زیادہ سے زیادہ
- تنظیمیں
- دیگر
- خاص طور پر
- پارٹنر
- شراکت داروں کے
- پیٹرن
- چوٹی
- انجام دینے کے
- کارکردگی
- مدت
- اجازت
- مقامات
- منصوبہ بندی
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- پالیسی
- ممکن
- پوسٹ
- پریکٹس
- طریقوں
- ضروریات
- پہلے
- قیمتوں کا تعین
- پرائمری
- پہلے
- مسائل
- پروسیسنگ
- پروگرام
- منصوبوں
- مناسب
- مجوزہ
- فراہم
- فراہم کرتا ہے
- ازگر
- جلدی سے
- شرح
- تناسب
- تک پہنچنے
- تیار
- اصل وقت
- اصل وقت کا ڈیٹا
- سفارش
- سفارش کی
- ریکارڈ
- کم
- کے بارے میں
- خطے
- باقاعدہ
- کو ہٹانے کے
- نقل
- وسائل
- وسائل
- نتائج کی نمائش
- برقراری
- چکر
- رن
- چل رہا ہے
- اسی
- بچت
- پیمانے
- شیڈول
- اسکرین شاٹس
- سیکشنز
- حصے
- سینئر
- سیریز
- سروسز
- مقرر
- قائم کرنے
- کئی
- مشترکہ
- دکھائیں
- نمائش
- اہم
- نمایاں طور پر
- اسی طرح
- سادہ
- تخروپن
- سمیلیٹر
- صورتحال
- سائز
- چھوٹے
- So
- حل
- حل
- کچھ
- چنگاری
- ماہر
- مہارت دیتا ہے
- خاص
- مخصوص
- وضاحتیں
- ڈھیر لگانا
- شروع
- کے اعداد و شمار
- درجہ
- مرحلہ
- مراحل
- ذخیرہ
- حکمت عملی
- جمع
- اس طرح
- تائید
- کے نظام
- سسٹمز
- ٹیبل
- موزوں
- لیتا ہے
- ہدف
- کاموں
- ٹیم
- ٹیموں
- ٹیک
- ٹیکنیکل
- ٹیکنالوجی
- سانچے
- سانچے
- ٹیسٹنگ
- ۔
- مستقبل
- ان
- لہذا
- کے ذریعے
- وقت
- وقت کا سلسلہ
- وقت لگتا
- ٹائم لائن
- کرنے کے لئے
- مل کر
- کے آلے
- تبدیل
- تبدیلی
- تبدیل
- سچ
- قابل اعتماد
- اقسام
- کے تحت
- سمجھ
- افہام و تفہیم
- سمجھتا ہے۔
- استعمال
- استعمال کی شرائط
- رکن کا
- صارفین
- عام طور پر
- مختلف
- اس بات کی تصدیق
- تصور
- حجم
- چلنا
- سٹوریج
- ہفتے
- ہفتہ وار
- مہینے
- کیا
- کیا ہے
- جس
- ڈبلیو
- کھڑکیاں
- بغیر
- کام کا بہاؤ
- کام کر
- کام کرتا ہے
- یامل
- اور
- زیفیرنیٹ