ایمیزون ریڈ شفٹ ایک تیز، مکمل طور پر منظم، پیٹا بائٹ اسکیل ڈیٹا گودام ہے جو آپ کے تجزیاتی کام کے بوجھ کے لیے پروویژنڈ یا سرور لیس کمپیوٹ استعمال کرنے کی لچک فراہم کرتا ہے۔ استعمال کرنا ایمیزون ریڈ شفٹ سرور لیس اور سوال ایڈیٹر v2، آپ صرف چند کلکس میں بڑے ڈیٹاسیٹس کو لوڈ اور استفسار کر سکتے ہیں اور صرف وہی ادائیگی کر سکتے ہیں جو آپ استعمال کرتے ہیں۔ Amazon Redshift کا ڈیکپلڈ کمپیوٹ اور اسٹوریج آرکیٹیکچر آپ کو انتہائی قابل توسیع، لچکدار، اور لاگت سے موثر کام کا بوجھ بنانے کے قابل بناتا ہے۔ بہت سے صارفین اپنے ڈیٹا ویئر ہاؤسنگ ورک بوجھ کو Amazon Redshift میں منتقل کرتے ہیں اور اس کی پیش کردہ بھرپور صلاحیتوں سے فائدہ اٹھاتے ہیں۔ مندرجہ ذیل صرف چند قابل ذکر صلاحیتیں ہیں:
- Amazon Redshift بغیر کسی رکاوٹ کے وسیع تر کے ساتھ ضم ہوتا ہے۔ AWS پر تجزیاتی خدمات. یہ آپ کو صحیح کام کے لیے صحیح ٹول کا انتخاب کرنے کے قابل بناتا ہے۔ جدید تجزیات SQL پر مبنی ڈیٹا گودام سے کہیں زیادہ وسیع ہے۔ ایمیزون ریڈ شفٹ آپ کو تعمیر کرنے دیتا ہے۔ جھیل ہاؤس فن تعمیر اور پھر کسی بھی قسم کے تجزیات انجام دیں، جیسے انٹرایکٹو تجزیات, آپریشنل تجزیات, بگ ڈیٹا پروسیسنگ, بصری ڈیٹا کی تیاری, پیش گوئی کرنے والے تجزیات، مشین لرننگ (ایم ایل)، اور مزید۔
- آپ کو کام کے بوجھ کے بارے میں فکر کرنے کی ضرورت نہیں ہے، جیسے ETL، ڈیش بورڈز، ایڈہاک سوالات، اور اسی طرح، ایک دوسرے کے ساتھ مداخلت کرنا۔ آپ کر سکتے ہیں۔ کام کے بوجھ کو الگ کریں ڈیٹا شیئرنگ کا استعمال کرتے ہوئے، اسی بنیادی ڈیٹا سیٹس کا استعمال کرتے ہوئے
- جب صارفین چوٹی کے اوقات میں بہت سے سوالات چلاتے ہیں تو، اعلی ہم آہنگی پر مستقل کارکردگی فراہم کرنے کے لیے سیکنڈوں میں بغیر کسی رکاوٹ کے ترازو کی گنتی کریں۔ آپ کو 24 گھنٹے کے استعمال کے لیے ایک گھنٹہ مفت کنکرنسی اسکیلنگ کی گنجائش ملتی ہے۔ یہ مفت کریڈٹ Amazon Redshift کسٹمر بیس کے 97% کی کنکرنسی ڈیمانڈ کو پورا کرتا ہے۔
- Amazon Redshift کے ساتھ استعمال میں آسان ہے۔ خود ٹیوننگ اور خود کو بہتر بنانا صلاحیتیں آپ اپنے ڈیٹا گودام کے انتظام میں قیمتی وقت صرف کیے بغیر تیز بصیرت حاصل کر سکتے ہیں۔
- غلطی رواداری بلٹ ہے. Amazon Redshift پر لکھا گیا تمام ڈیٹا خود بخود اور مسلسل نقل کیا جاتا ہے۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3)۔ کسی بھی ہارڈ ویئر کی ناکامی خود بخود تبدیل ہوجاتی ہے۔
- ایمیزون ریڈ شفٹ ہے۔ بات چیت کرنے کے لئے آسان ساتھ. آپ روایتی، کلاؤڈ-آبائی، کنٹینرائزڈ، اور سرور لیس ویب سروسز پر مبنی یا ایونٹ سے چلنے والی ایپلی کیشنز وغیرہ کے ساتھ ڈیٹا تک رسائی حاصل کر سکتے ہیں۔
- ریڈ شفٹ ایم ایل ڈیٹا سائنسدانوں کے لیے مانوس ایس کیو ایل کا استعمال کرتے ہوئے ایم ایل ماڈلز بنانا، تربیت دینا اور تعینات کرنا آسان بناتا ہے۔ وہ SQL کا استعمال کرتے ہوئے پیشین گوئیاں بھی چلا سکتے ہیں۔
- ایمیزون ریڈ شفٹ فراہم کرتا ہے۔ جامع ڈیٹا سیکورٹی بغیر کسی اضافی قیمت کے۔ آپ اینڈ ٹو اینڈ ڈیٹا انکرپشن ترتیب دے سکتے ہیں، فائر وال کے اصول ترتیب دے سکتے ہیں، حساس ڈیٹا پر دانے دار قطار اور کالم کی سطح کے سیکیورٹی کنٹرولز کی وضاحت کر سکتے ہیں، وغیرہ۔
- ایمیزون ریڈ شفٹ دیگر AWS خدمات اور فریق ثالث کے ٹولز کے ساتھ بغیر کسی رکاوٹ کے مربوط ہوتا ہے۔ آپ بڑے ڈیٹاسیٹس کو تیزی سے اور قابل اعتماد طریقے سے منتقل، تبدیل، لوڈ، اور استفسار کر سکتے ہیں۔
اس پوسٹ میں، ہم Google BigQuery سے Amazon Redshift میں ڈیٹا گودام منتقل کرنے کے لیے ایک واک تھرو فراہم کرتے ہیں۔ AWS سکیما کنورژن ٹول (AWS SCT) اور AWS SCT ڈیٹا نکالنے والے ایجنٹس. AWS SCT ایک ایسی سروس ہے جو ڈیٹا بیس کوڈ اور اسٹوریج آبجیکٹ کی اکثریت کو خود بخود ایک ایسے فارمیٹ میں تبدیل کر کے متضاد ڈیٹا بیس کی منتقلی کو قابل قیاس بناتی ہے جو ٹارگٹ ڈیٹا بیس کے ساتھ ہم آہنگ ہو۔ کوئی بھی ایسی اشیاء جو خود بخود تبدیل نہیں ہوسکتی ہیں واضح طور پر نشان زد ہیں تاکہ منتقلی کو مکمل کرنے کے لیے انہیں دستی طور پر تبدیل کیا جاسکے۔ مزید برآں، AWS SCT ایمبیڈڈ SQL سٹیٹمنٹس کے لیے آپ کے ایپلیکیشن کوڈ کو اسکین کر سکتا ہے اور انہیں تبدیل کر سکتا ہے۔
حل جائزہ
AWS SCT آپ کے BigQuery پروجیکٹ سے منسلک ہونے کے لیے ایک سروس اکاؤنٹ استعمال کرتا ہے۔ سب سے پہلے، ہم ایک Amazon Redshift ڈیٹا بیس بناتے ہیں جس میں BigQuery ڈیٹا منتقل کیا جاتا ہے۔ اگلا، ہم ایک S3 بالٹی بناتے ہیں۔ پھر، ہم BigQuery اسکیموں کو تبدیل کرنے اور انہیں Amazon Redshift پر لاگو کرنے کے لیے AWS SCT کا استعمال کرتے ہیں۔ آخر میں، ڈیٹا کو منتقل کرنے کے لیے، ہم AWS SCT ڈیٹا نکالنے والے ایجنٹس کا استعمال کرتے ہیں، جو BigQuery سے ڈیٹا نکالتے ہیں، اسے S3 بالٹی میں اپ لوڈ کرتے ہیں، اور پھر Amazon Redshift میں کاپی کرتے ہیں۔
شرائط
اس واک تھرو کو شروع کرنے سے پہلے، آپ کو درج ذیل شرائط کا ہونا ضروری ہے:
- AWS SCT کے ساتھ ایک ورک سٹیشن، ایمیزون کوریٹو 11، اور ایمیزون ریڈ شفٹ ڈرائیورز۔
- آپ ایک استعمال کر سکتے ہیں۔ Amazon Elastic Compute Cloud (Amazon EC2) مثال کے طور پر یا آپ کا مقامی ڈیسک ٹاپ بطور ورک سٹیشن۔ اس واک تھرو میں، ہم استعمال کر رہے ہیں۔ ایمیزون ای سی 2 ونڈوز مثال. اسے بنانے کے لیے، استعمال کریں۔ اس ہدایت نامہ.
- EC2 مثال پر AWS SCT کو ڈاؤن لوڈ اور انسٹال کرنے کے لیے جو آپ نے پہلے بنایا تھا، استعمال کریں۔ اس ہدایت نامہ.
- سے Amazon Redshift JDBC ڈرائیور ڈاؤن لوڈ کریں۔ یہ مقام.
- ڈاؤن لوڈ اور انسٹال کریں ایمیزون کوریٹو 11.
- ایک GCP سروس اکاؤنٹ جسے AWS SCT آپ کے سورس BigQuery پروجیکٹ سے منسلک کرنے کے لیے استعمال کر سکتا ہے۔
- گرانٹ BigQuery ایڈمن اور اسٹوریج ایڈمن سروس اکاؤنٹ میں کردار۔
- سروس اکاؤنٹ کی کلید فائل کو کاپی کریں، جو گوگل کلاؤڈ مینجمنٹ کنسول میں بنائی گئی تھی، اس EC2 مثال میں جس میں AWS SCT ہے۔
- منتقلی کے دوران اپنا ماخذ ڈیٹا ذخیرہ کرنے کے لیے GCP میں کلاؤڈ اسٹوریج بالٹی بنائیں۔
یہ واک تھرو درج ذیل مراحل کا احاطہ کرتا ہے:
- ایمیزون ریڈ شفٹ سرور لیس ورک گروپ اور نیم اسپیس بنائیں
- AWS S3 بالٹی اور فولڈر بنائیں
- AWS SCT کا استعمال کرتے ہوئے BigQuery اسکیما کو Amazon Redshift میں تبدیل کریں اور لاگو کریں۔
- Google BigQuery ماخذ سے منسلک ہو رہا ہے۔
- ایمیزون ریڈ شفٹ ٹارگٹ سے جڑیں۔
- BigQuery اسکیما کو Amazon Redshift میں تبدیل کریں۔
- تشخیصی رپورٹ کا تجزیہ کریں اور کارروائی کی اشیاء کو حل کریں۔
- Amazon Redshift کو ہدف بنانے کے لیے تبدیل شدہ اسکیما کا اطلاق کریں۔
- AWS SCT ڈیٹا نکالنے والے ایجنٹوں کا استعمال کرتے ہوئے ڈیٹا کو منتقل کریں۔
- ٹرسٹ اور کلیدی اسٹورز پیدا کرنا (اختیاری)
- ڈیٹا نکالنے والے ایجنٹ کو انسٹال اور شروع کریں۔
- ڈیٹا نکالنے والے ایجنٹ کو رجسٹر کریں۔
- بڑی میزوں کے لیے ورچوئل پارٹیشنز شامل کریں (اختیاری)
- مقامی منتقلی کا کام بنائیں
- لوکل ڈیٹا مائیگریشن ٹاسک شروع کریں۔
- ایمیزون ریڈ شفٹ میں ڈیٹا دیکھیں
ایمیزون ریڈ شفٹ سرور لیس ورک گروپ اور نیم اسپیس بنائیں
اس مرحلے میں، ہم ایک Amazon Redshift Serverless ورک گروپ اور نام کی جگہ بناتے ہیں۔ ورک گروپ کمپیوٹ وسائل کا ایک مجموعہ ہے اور نام کی جگہ ڈیٹابیس اشیاء اور صارفین کا مجموعہ ہے۔ کام کے بوجھ کو الگ کرنے اور Amazon Redshift Serverless میں مختلف وسائل کو منظم کرنے کے لیے، آپ نام کی جگہیں اور ورک گروپس بنا سکتے ہیں اور اسٹوریج کا انتظام کر سکتے ہیں اور وسائل کی الگ سے حساب کتاب کر سکتے ہیں۔
ایمیزون ریڈ شفٹ سرور لیس ورک گروپ اور نام کی جگہ بنانے کے لیے ان اقدامات پر عمل کریں:
- پر تشریف لے جائیں ایمیزون ریڈ شفٹ کنسول.
- اوپری دائیں طرف، وہ AWS علاقہ منتخب کریں جسے آپ استعمال کرنا چاہتے ہیں۔
- بائیں طرف ایمیزون ریڈ شفٹ پین کو پھیلائیں اور منتخب کریں۔ ریڈ شفٹ سرور لیس.
- میں سے انتخاب کریں ورک گروپ بنائیں.
- کے لئے ورک گروپ کا نام، ایک نام درج کریں جو کمپیوٹ وسائل کی وضاحت کرتا ہو۔
- تصدیق کریں کہ VPC وہی ہے جو VPC جیسا ہی ہے جیسا کہ AWS SCT کے ساتھ EC2 مثال ہے۔
- میں سے انتخاب کریں اگلے.
- کے لئے نام کی جگہ کا نامایک ایسا نام درج کریں جو آپ کے ڈیٹاسیٹ کی وضاحت کرتا ہو۔
- In ڈیٹا بیس کا نام اور پاس ورڈ سیکشن، چیک باکس کو منتخب کریں۔ منتظم صارف کی اسناد کو حسب ضرورت بنائیں.
- کے لئے ایڈمن صارف کا نام، اپنی پسند کا صارف نام درج کریں، مثال کے طور پر awsuser۔
- کے لئے ایڈمن صارف کا پاس ورڈ: اپنی پسند کا پاس ورڈ درج کریں، مثال کے طور پر MyRedShiftPW2022.
- میں سے انتخاب کریں اگلا. نوٹ کریں کہ Amazon Redshift Serverless namespace میں موجود ڈیٹا کو بطور ڈیفالٹ انکرپٹ کیا جاتا ہے۔
- میں جائزہ لیں اور تخلیق کریں۔ صفحہ، منتخب کریں تخلیق کریں.
- بنائیں ایک AWS شناخت اور رسائی کا انتظام (IAM) کا کردار ادا کریں اور اسے اپنے نام کی جگہ پر بطور ڈیفالٹ سیٹ کریں، جیسا کہ درج ذیل میں بیان کیا گیا ہے۔ نوٹ کریں کہ صرف ایک ڈیفالٹ IAM رول ہو سکتا ہے۔
- پر تشریف لے جائیں ایمیزون ریڈ شفٹ سرور لیس ڈیش بورڈ.
- کے تحت نام کی جگہیں / ورک گروپس، نام کی جگہ کا انتخاب کریں جو آپ نے ابھی بنایا ہے۔
- پر تشریف لے جائیںسیکیورٹی اور خفیہ کاری.
- کے تحت اجازتمنتخب کریں IAM کرداروں کا نظم کریں۔.
- پر تشریف لے جائیں IAM کرداروں کا نظم کریں۔. پھر ، منتخب کریں۔ IAM کرداروں کا نظم کریں۔ ڈراپ ڈاؤن اور منتخب کریں۔ IAM کردار بنائیں.
- کے تحت IAM کردار تک رسائی کے لیے ایک Amazon S3 بالٹی کی وضاحت کریں۔مندرجہ ذیل طریقوں میں سے ایک کا انتخاب کریں:
- میں سے انتخاب کریں کوئی اضافی Amazon S3 بالٹی نہیں۔ تخلیق کردہ IAM رول کو صرف S3 بالٹیوں تک رسائی کی اجازت دینے کے لیے جس کا نام redshift سے شروع ہوتا ہے۔
- میں سے انتخاب کریں کوئی بھی ایمیزون S3 بالٹی تخلیق کردہ IAM رول کو تمام S3 بالٹیوں تک رسائی کی اجازت دینے کے لیے۔
- میں سے انتخاب کریں مخصوص ایمیزون S3 بالٹیاں رسائی کے لیے بنائے گئے IAM رول کے لیے ایک یا زیادہ S3 بالٹیاں بتانے کے لیے۔ پھر میز سے ایک یا زیادہ S3 بالٹیاں منتخب کریں۔
- میں سے انتخاب کریں IAM کردار بطور ڈیفالٹ بنائیں. Amazon Redshift خود بخود IAM رول کو بطور ڈیفالٹ بناتا اور سیٹ کرتا ہے۔
- ایمیزون ریڈ شفٹ سرور لیس ورک گروپ کے لیے اینڈ پوائنٹ کو کیپچر کریں جو آپ نے ابھی بنایا ہے۔
S3 بالٹی اور فولڈر بنائیں
ڈیٹا کی منتقلی کے عمل کے دوران، AWS SCT نکالے گئے ڈیٹا کے لیے ایک سٹیجنگ ایریا کے طور پر Amazon S3 کا استعمال کرتا ہے۔ S3 بالٹی بنانے کے لیے ان اقدامات پر عمل کریں:
- پر تشریف لے جائیں ایمیزون S3 کنسول
- میں سے انتخاب کریں بالٹی بنائیں. بالٹی بنائیں وزرڈ کھلتا ہے۔
- کے لئے بالٹی کا نام، اپنی بالٹی کے لیے ایک منفرد DNS کے مطابق نام درج کریں (مثال کے طور پر، منفرد نام-bq-rs). بالٹی کے نام کے قواعد دیکھیں ایک نام کا انتخاب کرتے وقت.
- AWS ریجن کے لیے، وہ خطہ منتخب کریں جس میں آپ نے Amazon Redshift Serverless ورک گروپ بنایا ہے۔
- منتخب کریں بالٹی بنائیں۔
- میں ایمیزون S3 کنسول، S3 بالٹی پر جائیں جو آپ نے ابھی بنایا ہے (مثال کے طور پر، منفرد نام-bq-rs).
- میں سے انتخاب کریں "فولڈر بنائیں" ایک نیا فولڈر بنانے کے لیے۔
- کے لئے فولڈر کا نام، داخل آنے والے اور منتخب کریں فولڈر بنائیں۔.
AWS SCT کا استعمال کرتے ہوئے BigQuery اسکیما کو Amazon Redshift میں تبدیل کریں اور لاگو کریں۔
BigQuery اسکیما کو Amazon Redshift فارمیٹ میں تبدیل کرنے کے لیے، ہم AWS SCT استعمال کرتے ہیں۔ EC2 مثال میں لاگ ان کرکے شروع کریں جو ہم نے پہلے بنایا تھا، اور پھر AWS SCT لانچ کریں۔
AWS SCT کا استعمال کرتے ہوئے ان اقدامات پر عمل کریں:
BigQuery ماخذ سے جڑیں۔
- سے فائل مینو کا انتخاب نئی پروجیکٹ بنائیں.
- اپنی پروجیکٹ فائلوں اور ڈیٹا کو ذخیرہ کرنے کے لیے ایک مقام کا انتخاب کریں۔
- اپنے پروجیکٹ کے لیے ایک بامعنی لیکن یادگار نام فراہم کریں، جیسے BigQuery to Amazon Redshift.
- BigQuery سورس ڈیٹا ویئر ہاؤس سے منسلک ہونے کے لیے، منتخب کریں۔ ذریعہ شامل کریں مین مینو سے.
- میں سے انتخاب کریں بگ سوال اور منتخب کریں اگلے. ذریعہ شامل کریں ڈائیلاگ باکس ظاہر ہوتا ہے.
- کے لئے کنکشن کا نام، BigQuery کنکشن کی وضاحت کرنے کے لیے ایک نام درج کریں۔ AWS SCT اس نام کو بائیں پینل میں درخت میں دکھاتا ہے۔
- کے لئے کلیدی راستہ، سروس اکاؤنٹ کی کلید فائل کا راستہ فراہم کریں جو پہلے گوگل کلاؤڈ مینجمنٹ کنسول میں بنائی گئی تھی۔
- میں سے انتخاب کریں ٹیسٹ کنکشن اس بات کی تصدیق کرنے کے لیے کہ AWS SCT آپ کے سورس BigQuery پروجیکٹ سے منسلک ہو سکتا ہے۔
- ایک بار جب کنکشن کامیابی سے توثیق ہو جائے تو منتخب کریں۔ رابطہ قائم کریں.
ایمیزون ریڈ شفٹ ٹارگٹ سے جڑیں۔
Amazon Redshift سے جڑنے کے لیے ان اقدامات پر عمل کریں:
- AWS SCT میں، منتخب کریں۔ ہدف شامل کریں۔ مین مینو سے.
- میں سے انتخاب کریں ایمیزون ریڈ شفٹ، پھر منتخب کریں اگلا. ۔ ہدف شامل کریں۔ ڈائیلاگ باکس ظاہر ہوتا ہے.
- کے لئے کنکشن کا نام، Amazon Redshift کنکشن کی وضاحت کے لیے ایک نام درج کریں۔ AWS SCT اس نام کو دائیں پینل میں درخت میں دکھاتا ہے۔
- کے لئے خدمت گار کا نام، ایمیزون ریڈ شفٹ سرور لیس ورک گروپ کا اختتامی نقطہ درج کریں جو پہلے پکڑا گیا تھا۔
- کے لئے سرور پورٹ، داخل 5439.
- کے لئے ڈیٹا بیس، داخل دیو.
- کے لئے صارف کا نام، ایمیزون ریڈ شفٹ سرور لیس ورک گروپ بناتے وقت منتخب کردہ صارف نام درج کریں۔
- کے لئے پاس ورڈایمیزون ریڈ شفٹ سرور لیس ورک گروپ بناتے وقت منتخب کردہ پاس ورڈ درج کریں۔
- نشان زد کریں "AWS گلو استعمال کریں" باکس۔
- میں سے انتخاب کریں ٹیسٹ کنکشن اس بات کی تصدیق کرنے کے لیے کہ AWS SCT آپ کے ہدف Amazon Redshift ورک گروپ سے منسلک ہو سکتا ہے۔
- میں سے انتخاب کریں رابطہ قائم کریں Amazon Redshift ہدف سے جڑنے کے لیے۔
نوٹ کریں کہ متبادل طور پر آپ کنکشن کی قدریں استعمال کر سکتے ہیں جو اس میں محفوظ ہیں۔ AWS سیکرٹس مینیجر۔
BigQuery اسکیما کو Amazon Redshift میں تبدیل کریں۔
ماخذ اور ٹارگٹ کنکشنز کے کامیابی سے ہونے کے بعد، آپ کو بائیں پین پر سورس BigQuery آبجیکٹ ٹری نظر آئے گا اور دائیں پین پر Amazon Redshift آبجیکٹ ٹری کو ہدف بنائیں گے۔
BigQuery اسکیما کو Amazon Redshift فارمیٹ میں تبدیل کرنے کے لیے ان اقدامات پر عمل کریں:
- بائیں پین پر، اس اسکیما پر دائیں کلک کریں جسے آپ تبدیل کرنا چاہتے ہیں۔
- میں سے انتخاب کریں اسکیما کو تبدیل کریں۔.
- ایک ڈائیلاگ باکس ایک سوال کے ساتھ ظاہر ہوتا ہے، ٹارگٹ ڈیٹا بیس میں اشیاء پہلے سے موجود ہو سکتی ہیں۔ بدل دیں؟ میں سے انتخاب کریں جی ہاں.
تبادلوں کے مکمل ہونے کے بعد، آپ کو Amazon Redshift پین (دائیں پین) پر آپ کے BigQuery اسکیما کے نام کے ساتھ ایک نیا سکیما بنایا گیا ہے۔
نمونہ اسکیما جو ہم نے استعمال کیا ہے اس میں 16 میزیں، 3 آراء، اور 3 طریقہ کار ہیں۔ آپ ان اشیاء کو Amazon Redshift فارمیٹ میں دائیں پین میں دیکھ سکتے ہیں۔ AWS SCT تمام BigQuery کوڈ اور ڈیٹا آبجیکٹ کو Amazon Redshift فارمیٹ میں تبدیل کرتا ہے۔ مزید برآں، آپ بیرونی SQL اسکرپٹس، ایپلیکیشن کوڈ، یا اضافی فائلوں کو سرایت شدہ SQL کے ساتھ تبدیل کرنے کے لیے AWS SCT استعمال کر سکتے ہیں۔
تشخیصی رپورٹ کا تجزیہ کریں اور کارروائی کی اشیاء کو حل کریں۔
AWS SCT منتقلی کی پیچیدگی کا اندازہ لگانے کے لیے ایک تشخیصی رپورٹ بناتا ہے۔ AWS SCT زیادہ تر کوڈ اور ڈیٹا بیس اشیاء کو تبدیل کر سکتا ہے۔ تاہم، کچھ اشیاء کو دستی تبدیلی کی ضرورت ہو سکتی ہے۔ AWS SCT ان اشیاء کو تبادلوں کے اعداد و شمار کے خاکے میں نیلے رنگ میں نمایاں کرتا ہے اور ان کے ساتھ منسلک پیچیدگی کے ساتھ ایکشن آئٹمز بناتا ہے۔
تشخیصی رپورٹ دیکھنے کے لیے، سے سوئچ کریں۔ اہم نقطہ نظر کرنے کے لئے تشخیصی رپورٹ کا منظر مندرجہ ذیل ہے:
۔ خلاصہ ٹیب وہ اشیاء دکھاتا ہے جو خود بخود تبدیل ہو گئی تھیں، اور وہ اشیاء جو خود بخود تبدیل نہیں ہوئی تھیں۔ سبز خود کار طریقے سے تبدیل یا سادہ ایکشن آئٹمز کے ساتھ نمائندگی کرتا ہے۔ نیلا درمیانے اور پیچیدہ ایکشن آئٹمز کی نمائندگی کرتا ہے جن کے لیے دستی مداخلت کی ضرورت ہوتی ہے۔
۔ ایکشن آئٹمز ٹیب ہر تبادلوں کے مسئلے کے لیے تجویز کردہ اقدامات دکھاتا ہے۔ اگر آپ فہرست سے ایک ایکشن آئٹم منتخب کرتے ہیں، تو AWS SCT اس چیز کو نمایاں کرتا ہے جس پر ایکشن آئٹم لاگو ہوتا ہے۔
رپورٹ میں اسکیما آئٹم کو دستی طور پر تبدیل کرنے کے بارے میں سفارشات بھی شامل ہیں۔ مثال کے طور پر، تشخیص کے چلنے کے بعد، ڈیٹا بیس/اسکیما کے لیے تفصیلی رپورٹیں آپ کو ایکشن آئٹمز کو تبدیل کرنے کے لیے سفارشات کو ڈیزائن اور لاگو کرنے کے لیے درکار کوششیں دکھاتی ہیں۔ دستی تبادلوں کو ہینڈل کرنے کے بارے میں مزید معلومات کے لیے، دیکھیں AWS SCT میں دستی تبادلوں کو ہینڈل کرنا. Amazon Redshift اسکیما کو Amazon Redshift میں تبدیل کرتے ہوئے خود بخود کچھ کارروائیاں کرتا ہے۔ ان کارروائیوں والی اشیاء کو سرخ انتباہی نشان سے نشان زد کیا گیا ہے۔
آپ انفرادی آبجیکٹ DDL کو دائیں پین سے منتخب کر کے اس کا جائزہ اور معائنہ کر سکتے ہیں، اور آپ ضرورت کے مطابق اس میں ترمیم بھی کر سکتے ہیں۔ درج ذیل مثال میں، AWS SCT BigQuery ٹیبل ncaaf_referee_data میں RECORD اور JSON ڈیٹا ٹائپ کالمز کو Amazon Redshift میں SUPER ڈیٹا ٹائپ میں تبدیل کرتا ہے۔ ncaaf_referee_data ٹیبل میں تقسیم کی کلید کو Amazon Redshift میں تقسیم کلید اور ترتیب کی کلید میں تبدیل کیا جاتا ہے۔
Amazon Redshift کو ہدف بنانے کے لیے تبدیل شدہ اسکیما کا اطلاق کریں۔
تبدیل شدہ اسکیما کو Amazon Redshift پر لاگو کرنے کے لیے، تبدیل شدہ اسکیما کو دائیں پین میں منتخب کریں، دائیں کلک کریں، اور پھر منتخب کریں۔ ڈیٹا بیس پر اپلائی کریں۔.
AWS SCT ڈیٹا نکالنے والے ایجنٹوں کا استعمال کرتے ہوئے BigQuery سے Amazon Redshift میں ڈیٹا منتقل کریں۔
AWS SCT نکالنے والے ایجنٹ آپ کے ماخذ ڈیٹا بیس سے ڈیٹا نکالتے ہیں اور اسے AWS کلاؤڈ میں منتقل کرتے ہیں۔ اس واک تھرو میں، ہم دکھاتے ہیں کہ BigQuery سے ڈیٹا نکالنے اور Amazon Redshift میں منتقل کرنے کے لیے AWS SCT ایکسٹرکشن ایجنٹس کو کیسے ترتیب دیا جائے۔
پہلے، اسی ونڈوز مثال پر AWS SCT ایکسٹرکشن ایجنٹ انسٹال کریں جس میں AWS SCT انسٹال ہے۔ بہتر کارکردگی کے لیے، ہم تجویز کرتے ہیں کہ اگر ممکن ہو تو ایکسٹرکشن ایجنٹس کو انسٹال کرنے کے لیے ایک علیحدہ لینکس مثال استعمال کریں۔ بڑے ڈیٹا سیٹس کے لیے، آپ ڈیٹا کی منتقلی کی رفتار بڑھانے کے لیے متعدد ڈیٹا نکالنے والے ایجنٹس کا استعمال کر سکتے ہیں۔
اعتماد پیدا کرنا اور کلیدی اسٹورز (اختیاری)
آپ AWS SCT ڈیٹا ایکسٹریکٹر کے ساتھ Secure Socket Layer (SSL) انکرپٹڈ کمیونیکیشن استعمال کر سکتے ہیں۔ جب آپ SSL استعمال کرتے ہیں، تو ایپلیکیشنز کے درمیان پاس کردہ تمام ڈیٹا نجی اور لازمی رہتا ہے۔ SSL کمیونیکیشن کو استعمال کرنے کے لیے، آپ کو AWS SCT کا استعمال کرتے ہوئے اعتماد اور کلیدی اسٹورز پیدا کرنا ہوں گے۔ اگر آپ SSL استعمال نہیں کرنا چاہتے ہیں تو آپ اس قدم کو چھوڑ سکتے ہیں۔ ہم پروڈکشن ورک بوجھ کے لیے SSL استعمال کرنے کی تجویز کرتے ہیں۔
اعتماد اور کلیدی اسٹورز پیدا کرنے کے لیے ان اقدامات پر عمل کریں:
- AWS SCT میں، ترتیبات → عالمی ترتیبات → سیکیورٹی پر جائیں۔
- میں سے انتخاب کریں اعتماد اور کلیدی اسٹور پیدا کریں۔.
- ٹرسٹ اور کلیدی اسٹورز کے لیے نام اور پاس ورڈ درج کریں اور ایسی جگہ کا انتخاب کریں جہاں آپ انہیں اسٹور کرنا چاہیں گے۔
- میں سے انتخاب کریں بنائیں.
ڈیٹا ایکسٹریکشن ایجنٹ کو انسٹال اور کنفیگر کریں۔
AWS SCT کے لیے انسٹالیشن پیکج میں، آپ کو ایک ذیلی فولڈر ایجنٹ ملتا ہے (aws-schema-conversion-tool-1.0.latest.zipagents
)۔ جیسے نام کے ساتھ قابل عمل فائل کو تلاش کریں اور انسٹال کریں۔ aws-schema-conversion-tool-extractor-xxxxxxxx.msi۔
انسٹالیشن کے عمل میں، AWS SCT ڈیٹا ایکسٹریکٹر کو کنفیگر کرنے کے لیے ان مراحل پر عمل کریں:
- کے لئے سننے کی بندرگاہپورٹ نمبر درج کریں جس پر ایجنٹ سنتا ہے۔ یہ بطور ڈیفالٹ 8192 ہے۔
- کے لئے ایک ذریعہ فروش شامل کریں۔، داخل کریں نہیں، جیسا کہ آپ کو BigQuery سے منسلک ہونے کے لیے ڈرائیوروں کی ضرورت نہیں ہے۔
- کے لئے ایمیزون ریڈ شفٹ ڈرائیور شامل کریں۔، داخل کریں YES.
- کے لئے Redshift JDBC ڈرائیور فائل یا فائلیں درج کریں۔، وہ مقام درج کریں جہاں آپ نے Amazon Redshift JDBC ڈرائیورز ڈاؤن لوڈ کیے ہیں۔
- کے لئے ورکنگ فولڈر، وہ راستہ درج کریں جہاں AWS SCT ڈیٹا نکالنے والا ایجنٹ نکالے گئے ڈیٹا کو اسٹور کرے گا۔ ورکنگ فولڈر ایجنٹ سے مختلف کمپیوٹر پر ہو سکتا ہے، اور ایک ہی ورکنگ فولڈر کو ایک سے زیادہ ایجنٹ مختلف کمپیوٹرز پر شیئر کر سکتے ہیں۔
- کے لئے SSL مواصلات کو فعال کریں۔، داخل کریں جی ہاں. اگر آپ SSL استعمال نہیں کرنا چاہتے ہیں تو یہاں نہیں کا انتخاب کریں۔
- کے لئے کلیدی اسٹورٹرسٹ اور کلیدی اسٹور بناتے وقت منتخب کردہ اسٹوریج کی جگہ درج کریں۔
- کے لئے کلیدی اسٹور کا پاس ورڈکلیدی اسٹور کے لیے پاس ورڈ درج کریں۔
- کے لئے کلائنٹ SSL تصدیق کو فعال کریں۔، داخل کریں جی ہاں.
- کے لئے ٹرسٹ اسٹورٹرسٹ اور کلیدی اسٹور بناتے وقت منتخب کردہ اسٹوریج کی جگہ درج کریں۔
- کے لئے اسٹور پاس ورڈ پر بھروسہ کریں۔ٹرسٹ اسٹور کے لیے پاس ورڈ درج کریں۔
ڈیٹا نکالنے کے ایجنٹوں کو شروع کرنا
نکالنے والے ایجنٹوں کو شروع کرنے کے لیے درج ذیل طریقہ کار کا استعمال کریں۔ اس طریقہ کار کو ہر اس کمپیوٹر پر دہرائیں جس میں ایکسٹریکشن ایجنٹ انسٹال ہو۔
نکالنے والے ایجنٹ سامعین کے طور پر کام کرتے ہیں۔ جب آپ اس طریقہ کار کے ساتھ ایجنٹ شروع کرتے ہیں، تو ایجنٹ ہدایات سننا شروع کر دیتا ہے۔ آپ ایجنٹوں کو اپنے ڈیٹا گودام سے ڈیٹا نکالنے کے لیے بعد کے حصے میں ہدایات بھیجتے ہیں۔
ایکسٹرکشن ایجنٹ شروع کرنے کے لیے، AWS SCT ڈیٹا ایکسٹریکٹر ایجنٹ ڈائرکٹری پر جائیں۔ مثال کے طور پر، Microsoft Windows میں، ڈبل کلک کریں۔ C:Program FilesAWS SCT Data Extractor AgentStartAgent.bat
.
- جس کمپیوٹر پر ایکسٹرکشن ایجنٹ انسٹال ہے، کمانڈ پرامپٹ یا ٹرمینل ونڈو سے، اپنے آپریٹنگ سسٹم کے بعد درج کمانڈ کو چلائیں۔
- ایجنٹ کا اسٹیٹس چیک کرنے کے لیے وہی کمانڈ چلائیں لیکن اسٹیٹس کے ساتھ اسٹارٹ کو تبدیل کریں۔
- کسی ایجنٹ کو روکنے کے لیے وہی کمانڈ چلائیں لیکن اسٹارٹ کو سٹاپ سے بدل دیں۔
- کسی ایجنٹ کو دوبارہ شروع کرنے کے لیے، وہی RestartAgent.bat فائل چلائیں۔
ڈیٹا ایکسٹریکشن ایجنٹ کو رجسٹر کریں۔
ڈیٹا ایکسٹریکشن ایجنٹ کو رجسٹر کرنے کے لیے ان اقدامات پر عمل کریں:
- AWS SCT میں، منظر کو تبدیل کریں۔ ڈیٹا کی منتقلی کا منظر (دیگر) اور منتخب کریں + رجسٹر کریں۔.
- کنکشن ٹیب میں:
- کے لئے Descriptionڈیٹا نکالنے والے ایجنٹ کی شناخت کے لیے ایک نام درج کریں۔
- کے لئے میزبان کا نام، اگر آپ نے ڈیٹا ایکسٹریکشن ایجنٹ اسی ورک سٹیشن پر نصب کیا ہے جس میں AWS SCT ہے، تو مقامی میزبان کی نشاندہی کرنے کے لیے 0.0.0.0 درج کریں۔ بصورت دیگر، اس مشین کا میزبان نام درج کریں جس پر AWS SCT ڈیٹا ایکسٹریکشن ایجنٹ انسٹال ہے۔ بہتر کارکردگی کے لیے لینکس پر ڈیٹا ایکسٹریکشن ایجنٹس انسٹال کرنے کی سفارش کی جاتی ہے۔
- کے لئے پورٹکے لیے درج کردہ نمبر درج کریں۔ سننے کی بندرگاہ AWS SCT ڈیٹا ایکسٹریکشن ایجنٹ کو انسٹال کرتے وقت۔
- AWS SCT کنکشن کو ڈیٹا ایکسٹریکشن ایجنٹ سے خفیہ کرنے کے لیے SSL (اگر SSL استعمال کر رہے ہیں) استعمال کرنے کے لیے چیک باکس کو منتخب کریں۔
- اگر آپ SSL استعمال کر رہے ہیں، تو SSL ٹیب میں:
- کے لئے ٹرسٹ اسٹور، ٹرسٹ اسٹور کا نام منتخب کریں جب بنایا گیا تھا۔ ٹرسٹ اور کلیدی اسٹورز پیدا کرنا (اختیاری طور پر، اگر SSL کنیکٹیویٹی کی ضرورت نہ ہو تو آپ اسے چھوڑ سکتے ہیں).
- کے لئے کلید کی دکان، جب بنایا گیا کلیدی اسٹور کا نام منتخب کریں۔ ٹرسٹ اور کلیدی اسٹورز پیدا کرنا (اختیاری طور پر، اگر SSL کنیکٹیویٹی کی ضرورت نہ ہو تو آپ اسے چھوڑ سکتے ہیں).
- میں سے انتخاب کریں ٹیسٹ کنکشن.
- ایک بار جب کنکشن کی توثیق کامیابی سے ہو جائے، منتخب کریں۔ رجسٹر.
بڑی میزوں کے لیے ورچوئل پارٹیشنز شامل کریں (اختیاری)
آپ منتقلی کی کارکردگی کو بہتر بنانے کے لیے ورچوئل پارٹیشنز بنانے کے لیے AWS SCT استعمال کر سکتے ہیں۔ جب ورچوئل پارٹیشنز بنائے جاتے ہیں، تو AWS SCT ڈیٹا کو پارٹیشنز کے متوازی طور پر نکالتا ہے۔ ہم بڑی میزوں کے لیے ورچوئل پارٹیشنز بنانے کی تجویز کرتے ہیں۔
ورچوئل پارٹیشنز بنانے کے لیے ان اقدامات پر عمل کریں:
- AWS SCT میں سورس ڈیٹا بیس ویو پر موجود تمام اشیاء کو غیر منتخب کریں۔
- وہ ٹیبل منتخب کریں جس کے لیے آپ ورچوئل پارٹیشن شامل کرنا چاہیں گے۔
- ٹیبل پر دائیں کلک کریں، اور منتخب کریں۔ ورچوئل پارٹیشننگ شامل کریں۔.
- آپ لسٹ، رینج، یا آٹو سپلٹ پارٹیشنز استعمال کر سکتے ہیں۔ ورچوئل پارٹیشننگ کے بارے میں مزید جاننے کے لیے، رجوع کریں۔ AWS SCT میں ورچوئل پارٹیشننگ کا استعمال کریں۔. اس مثال میں، ہم آٹو اسپلٹ پارٹیشننگ کا استعمال کرتے ہیں، جو رینج پارٹیشنز خود بخود تیار کرتا ہے۔ آپ ابتدائی قیمت، اختتامی قدر، اور تقسیم کتنا بڑا ہونا چاہیے، کی وضاحت کریں گے۔ AWS SCT خود بخود پارٹیشنز کا تعین کرتا ہے۔ مظاہرے کے لیے، لائن آرڈر ٹیبل پر:
- کے لئے قیمت شروع کریں، 1000000 درج کریں۔
- کے لئے اختتامی قدر، 3000000 درج کریں۔
- کے لئے انٹرولتقسیم کے سائز کی نشاندہی کرنے کے لیے 1000000 درج کریں۔
- میں سے انتخاب کریں ٹھیک ہے.
آپ پارٹیشنز کو خود بخود کے تحت دیکھ سکتے ہیں۔ ورچوئل پارٹیشنز ٹیب اس مثال میں، AWS SCT نے فیلڈ کے لیے خود بخود درج ذیل پانچ پارٹیشنز بنائے:
-
- >=1000000 اور <=2000000
- > 2000000 اور <= 3000000
- > 3000000
- IS NULL
مقامی منتقلی کا کام بنائیں
BigQuery سے Amazon Redshift میں ڈیٹا منتقل کرنے کے لیے، AWS SCT سے مقامی مائیگریشن ٹاسک بنائیں، چلائیں اور مانیٹر کریں۔ یہ مرحلہ ٹاسک بنا کر ڈیٹا کو منتقل کرنے کے لیے ڈیٹا نکالنے والے ایجنٹ کا استعمال کرتا ہے۔
مقامی منتقلی کا کام بنانے کے لیے ان اقدامات پر عمل کریں:
- AWS SCT میں، بائیں پین میں اسکیما کے نام کے تحت، پر دائیں کلک کریں۔ معیاری میزیں۔.
- میں سے انتخاب کریں مقامی کام بنائیں.
- منتقلی کے تین طریقے ہیں جن میں سے آپ انتخاب کر سکتے ہیں:
- ماخذ کا ڈیٹا نکالیں اور اسے مقامی پی سی/ورچوئل مشین (VM) پر اسٹور کریں جہاں ایجنٹ چلتا ہے۔
- ڈیٹا نکالیں اور اسے S3 بالٹی پر اپ لوڈ کریں۔
- ایکسٹریکٹ اپ لوڈ اور کاپی کا انتخاب کریں، جو ڈیٹا کو S3 بالٹی میں نکالتا ہے اور پھر Amazon Redshift میں کاپی کرتا ہے۔
- میں اعلی درجے کی ٹیب، کے لیے Google CS بالٹی فولڈر Google Cloud Storage بالٹی/فولڈر درج کریں جو آپ نے پہلے GCP مینجمنٹ کنسول میں بنایا تھا۔ AWS SCT نکالے گئے ڈیٹا کو اس مقام پر محفوظ کرتا ہے۔
- میں ایمیزون S3 کی ترتیبات ٹیب، کے لیے ایمیزون S3 بالٹی فولڈر، S3 بالٹی کی بالٹی اور فولڈر کے نام فراہم کریں جو آپ نے پہلے بنایا تھا۔ AWS SCT ڈیٹا نکالنے والا ایجنٹ Amazon Redshift پر کاپی کرنے سے پہلے ڈیٹا کو S3 بالٹی/فولڈر میں اپ لوڈ کرتا ہے۔
- میں سے انتخاب کریں ٹیسٹ ٹاسک.
- ایک بار کام کی کامیابی سے توثیق ہو جانے کے بعد، منتخب کریں۔ تخلیق کریں.
لوکل ڈیٹا مائیگریشن ٹاسک شروع کریں۔
کام شروع کرنے کے لیے، منتخب کریں۔ آغاز بٹن میں ٹاسکس ٹیب.
- سب سے پہلے، ڈیٹا ایکسٹریکشن ایجنٹ BigQuery سے ڈیٹا کو GCP اسٹوریج بالٹی میں نکالتا ہے۔
- پھر، ایجنٹ Amazon S3 پر ڈیٹا اپ لوڈ کرتا ہے اور ڈیٹا کو Amazon Redshift میں منتقل کرنے کے لیے ایک کاپی کمانڈ لانچ کرتا ہے۔
- اس وقت، AWS SCT نے ماخذ BigQuery ٹیبل سے ڈیٹا کو کامیابی سے Amazon Redshift ٹیبل میں منتقل کر دیا ہے۔
Amazon Redshift میں ڈیٹا دیکھیں
ڈیٹا کی منتقلی کا کام کامیابی سے مکمل ہونے کے بعد، آپ Amazon Redshift سے جڑ سکتے ہیں اور ڈیٹا کی توثیق کر سکتے ہیں۔
Amazon Redshift میں ڈیٹا کی توثیق کرنے کے لیے ان اقدامات پر عمل کریں:
- پر تشریف لے جائیں Amazon Redshift QueryEditor V2.
- ایمیزون ریڈ شفٹ سرور لیس ورک گروپ کے نام پر ڈبل کلک کریں جو آپ نے بنایا ہے۔
- منتخب کیجئیے فیڈریٹڈ صارف توثیق کے تحت اختیار۔
- میں سے انتخاب کریں کنکشن بنائیں.
- کو منتخب کرکے ایک نیا ایڈیٹر بنائیں + آئکن.
- ایڈیٹر میں، اسکیما کے نام اور ٹیبل کے نام/دیکھنے کے نام سے منتخب کرنے کے لیے ایک سوال لکھیں جس کی آپ تصدیق کرنا چاہتے ہیں۔ ڈیٹا کو دریافت کریں، ایڈہاک استفسارات چلائیں، اور تصورات اور چارٹ اور نظارے بنائیں۔
سپورٹس ڈیٹا سیٹ کے لیے ماخذ BigQuery اور ٹارگٹ Amazon Redshift کے درمیان جو ہم نے اس واک تھرو میں استعمال کیا ہے اس کا ذیل میں ساتھ ساتھ موازنہ ہے۔
کسی بھی AWS وسائل کو صاف کریں جو آپ نے اس مشق کے لیے بنائے ہیں۔
EC2 مثال کو ختم کرنے کے لیے ان اقدامات پر عمل کریں:
- پر تشریف لے جائیں ایمیزون EC2 کنسول.
- نیویگیشن پین میں، منتخب کریں۔ مثال.
- EC2 مثال کے لیے چیک باکس کو منتخب کریں جو آپ نے بنایا ہے۔
- میں سے انتخاب کریں مثال کی حالت، اور پھر مثال کو ختم کریں۔.
- میں سے انتخاب کریں ختم کریں۔ جب تصدیق کے لیے کہا جائے۔
ایمیزون ریڈ شفٹ سرور لیس ورک گروپ اور نام کی جگہ کو حذف کرنے کے لیے ان اقدامات پر عمل کریں۔
- پر تشریف لے جائیں ایمیزون ریڈ شفٹ سرور لیس ڈیش بورڈ.
- کے تحت نام کی جگہیں / ورک گروپس، اس کام کی جگہ کا انتخاب کریں جو آپ نے بنایا ہے۔
- کے تحت عواملمنتخب کریں ورک گروپ کو حذف کریں۔
- چیک باکس منتخب کریں۔ متعلقہ نام کی جگہ کو حذف کریں۔
- نشان زد کریں فائنل اسنیپ شاٹ بنائیں۔
- درج حذف ڈیلیٹ تصدیقی ٹیکسٹ باکس میں اور منتخب کریں۔ حذف کریں.
S3 بالٹی کو حذف کرنے کے لیے ان اقدامات پر عمل کریں۔
- پر تشریف لے جائیں ایمیزون S3 کنسول.
- اپنی بنائی ہوئی بالٹی کا انتخاب کریں۔
- میں سے انتخاب کریں خارج کر دیں.
- حذف کرنے کی تصدیق کرنے کے لیے، ٹیکسٹ ان پٹ فیلڈ میں بالٹی کا نام درج کریں۔
- میں سے انتخاب کریں بالٹی کو حذف کریں۔.
نتیجہ
ڈیٹا گودام کو منتقل کرنا ایک مشکل، پیچیدہ اور پھر بھی فائدہ مند منصوبہ ہو سکتا ہے۔ AWS SCT ڈیٹا گودام کی منتقلی کی پیچیدگی کو کم کرتا ہے۔ اس واک تھرو کے بعد، آپ سمجھ سکتے ہیں کہ ڈیٹا کی منتقلی کا کام کس طرح BigQuery سے Amazon Redshift میں ڈیٹا کو نکالتا، ڈاؤن لوڈ، اور پھر منتقل کرتا ہے۔ حل جو ہم نے اس پوسٹ میں پیش کیا ہے وہ ڈیٹا بیس اشیاء اور ڈیٹا کی ایک بار منتقلی کرتا ہے۔ منتقلی جاری ہونے پر BigQuery میں کی گئی ڈیٹا کی تبدیلیاں Amazon Redshift میں ظاہر نہیں ہوں گی۔ جب ڈیٹا کی منتقلی جاری ہو تو، اپنی ETL جابز کو BigQuery میں ہولڈ پر رکھیں یا منتقلی کے بعد Amazon Redshift کی طرف اشارہ کر کے ETLs کو دوبارہ چلائیں۔ کے استعمال پر غور کریں۔ AWS SCT کے لیے بہترین طریقے.
BigQuery کو بطور ذریعہ استعمال کرتے وقت AWS SCT کی کچھ حدود ہوتی ہیں۔ مثال کے طور پر، AWS SCT ذیلی سوالات کو تجزیاتی افعال، جغرافیہ کے افعال، شماریاتی مجموعی افعال، وغیرہ میں تبدیل نہیں کر سکتا۔ میں حدود کی مکمل فہرست تلاش کریں۔ AWS SCT صارف گائیڈ. ہم مستقبل کی ریلیز میں ان حدود کو دور کرنے کا ارادہ رکھتے ہیں۔ ان حدود کے باوجود، آپ اپنے بیشتر BigQuery کوڈ اور اسٹوریج اشیاء کو خودکار طور پر تبدیل کرنے کے لیے AWS SCT استعمال کر سکتے ہیں۔
AWS SCT ڈاؤن لوڈ اور انسٹال کریں۔میں سائن ان کریں۔ AWS کنسول، Amazon Redshift Serverless چیک آؤٹ کریں، اور منتقلی شروع کریں!
مصنفین کے بارے میں
سیڈرک ہوڈی AWS ڈیٹابیس مائیگریشن سروس (DMS) اور AWS سکیما کنورژن ٹول (SCT) کا استعمال کرتے ہوئے ڈیٹا بیس کی منتقلی پر توجہ دینے کے ساتھ ایک حل آرکیٹیکٹ ہے. وہ DB ہجرت سے متعلق چیلنجز پر کام کرتا ہے۔ وہ EdTech، Energy، اور ISV کاروباری شعبے کے صارفین کے ساتھ مل کر کام کرتا ہے تاکہ انہیں DMS سروس کی حقیقی صلاحیت کا ادراک کرنے میں مدد ملے۔ اس نے DMS اور SCT کا استعمال کرتے ہوئے 100 ڈیٹا بیس کو AWS کلاؤڈ میں منتقل کرنے میں مدد کی ہے۔
امیت اروڑا AWS میں ڈیٹا بیس اور تجزیات پر توجہ کے ساتھ ایک حل آرکیٹیکٹ ہے۔ وہ ہمارے فنانشل ٹکنالوجی اور عالمی توانائی کے صارفین اور AWS کے تصدیق شدہ شراکت داروں کے ساتھ کام کرتا ہے تاکہ کلاؤڈ مائیگریشن پراجیکٹس پر تکنیکی مدد اور کسٹمر سلوشنز کو ڈیزائن کیا جا سکے، صارفین کو AWS کلاؤڈ پر اپنے موجودہ ڈیٹا بیس کو منتقل کرنے اور جدید بنانے میں مدد ملے۔
جگدیش کمار AWS میں تجزیاتی ماہر حل آرکیٹیکٹ ہے جس کی توجہ Amazon Redshift پر ہے۔ وہ ڈیٹا آرکیٹیکچر کے بارے میں بہت پرجوش ہے اور صارفین کو AWS پر پیمانے پر تجزیاتی حل تیار کرنے میں مدد کرتا ہے۔
انوشہ چلہ AWS میں ایک سینئر تجزیاتی ماہر حل آرکیٹیکٹ ہے جو Amazon Redshift پر مرکوز ہے۔ اس نے بہت سے صارفین کو کلاؤڈ اور احاطے میں بڑے پیمانے پر ڈیٹا ویئر ہاؤس حل بنانے میں مدد کی ہے۔ انوشا ڈیٹا اینالیٹکس اور ڈیٹا سائنس کے بارے میں پرجوش ہے اور صارفین کو ان کے بڑے پیمانے پر ڈیٹا پروجیکٹس کے ساتھ کامیابی حاصل کرنے کے قابل بناتی ہے۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو بلاک چین۔ Web3 Metaverse Intelligence. علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/big-data/migrate-google-bigquery-to-amazon-redshift-using-aws-schema-conversion-tool-sct/
- 1
- 10
- 100
- 9
- a
- ہمارے بارے میں
- تک رسائی حاصل
- اکاؤنٹ
- حاصل
- ایکٹ
- عمل
- اعمال
- ایڈیشنل
- پتہ
- منتظم
- کے بعد
- ایجنٹ
- ایجنٹ
- تمام
- پہلے ہی
- ایمیزون
- تجزیاتی
- تجزیاتی
- تجزیاتی
- اور
- درخواست
- ایپلی کیشنز
- کا اطلاق کریں
- فن تعمیر
- رقبہ
- تشخیص
- اسسٹنس
- منسلک
- کی توثیق
- آٹو
- خود کار طریقے سے
- AWS
- بیس
- بلے بازی
- اس سے پہلے
- فائدہ
- بہتر
- کے درمیان
- بگ
- بلیو
- باکس
- تعمیر
- کاروبار
- بٹن
- حاصل کر سکتے ہیں
- نہیں کر سکتے ہیں
- صلاحیتوں
- اہلیت
- مصدقہ
- چیلنجوں
- چیلنج
- تبدیل
- تبدیلیاں
- چارٹس
- چیک کریں
- اس کو دیکھو
- انتخاب
- میں سے انتخاب کریں
- منتخب کریں
- منتخب کیا
- واضح طور پر
- کلائنٹ
- قریب سے
- بادل
- بادل سٹوریج
- کوڈ
- مجموعہ
- کالم
- کالم
- مواصلات
- موازنہ
- ہم آہنگ
- مکمل
- پیچیدہ
- پیچیدگی
- کمپیوٹنگ
- کمپیوٹر
- کمپیوٹر
- ترتیب
- کی توثیق
- رابطہ قائم کریں
- کنکشن
- کنکشن
- رابطہ
- غور کریں
- متواتر
- کنسول
- پر مشتمل ہے
- کنٹرول
- تبادلوں سے
- تبادلوں
- تبدیل
- تبدیل
- کاپی
- قیمت
- سرمایہ کاری مؤثر
- تخلیق
- بنائی
- پیدا
- تخلیق
- کریڈٹ
- گاہک
- صارفین کے حل
- گاہکوں
- اعداد و شمار
- ڈیٹا تجزیات
- ڈیٹا سائنس
- ڈیٹا شیئرنگ
- ڈیٹا بیس
- ڈیٹا بیس
- ڈیٹاسیٹس
- فیصلہ کرنا
- پہلے سے طے شدہ
- ڈیمانڈ
- تعیناتی
- بیان
- بیان کیا
- ڈیزائن
- ڈیسک ٹاپ
- کے باوجود
- تفصیلی
- یہ تعین
- مکالمے کے
- مختلف
- دکھاتا ہے
- تقسیم
- نہیں
- ڈاؤن لوڈ، اتارنا
- ڈاؤن لوڈز
- ڈرائیور
- ڈرائیور
- کے دوران
- ہر ایک
- اس سے قبل
- استعمال میں آسان
- ایڈیٹر
- کوشش
- ایمبیڈڈ
- کو چالو کرنے کے
- کے قابل بناتا ہے
- کو فعال کرنا
- خفیہ کردہ
- خفیہ کاری
- آخر سے آخر تک
- اختتام پوائنٹ
- توانائی
- درج
- داخل ہوا
- ماحولیات
- Ether (ETH)
- اندازہ
- مثال کے طور پر
- پھانسی
- موجودہ
- تلاش
- بیرونی
- اضافی
- نکالنے
- نچوڑ۔
- واقف
- فاسٹ
- تیز تر
- چند
- میدان
- فائل
- فائلوں
- فائنل
- آخر
- مالی
- مالیاتی ٹیکنالوجی
- مل
- فائروال
- پہلا
- لچک
- توجہ مرکوز
- توجہ مرکوز
- پر عمل کریں
- کے بعد
- مندرجہ ذیل ہے
- فارمیٹ
- مفت
- سے
- مکمل
- افعال
- مزید برآں
- مستقبل
- پیدا
- پیدا
- پیدا ہوتا ہے
- جغرافیہ
- حاصل
- گلوبل
- گوگل
- گوگل کلاؤڈ
- سبز
- ہینڈل
- ہارڈ ویئر
- مدد
- مدد
- مدد
- مدد کرتا ہے
- یہاں
- ہائی
- پر روشنی ڈالی گئی
- انتہائی
- پکڑو
- ہوم پیج (-)
- میزبان
- HOURS
- ہاؤس
- کس طرح
- کیسے
- تاہم
- HTML
- HTTPS
- آئکن
- شناخت
- شناختی
- پر عملدرآمد
- in
- اضافہ
- اشارہ کرتے ہیں
- انفرادی
- معلومات
- ان پٹ
- بصیرت
- انسٹال
- انسٹال کرنا
- مثال کے طور پر
- ہدایات
- اٹوٹ
- انٹیگریٹٹس
- بات چیت
- مداخلت
- مداخلت
- مسئلہ
- IT
- اشیاء
- ایوب
- نوکریاں
- JSON
- کلیدی
- بچے
- بڑے
- بڑے پیمانے پر
- تازہ ترین
- شروع
- آغاز
- پرت
- جانیں
- آو ہم
- سطح
- حدود
- لینکس
- لسٹ
- فہرست
- سن
- لوڈ
- مقامی
- محل وقوع
- مشین
- بنا
- مین
- اکثریت
- بنا
- بناتا ہے
- انتظام
- انتظام
- مینیجر
- مینیجنگ
- دستی
- دستی طور پر
- بہت سے
- بامعنی
- درمیانہ
- ملتا ہے
- مینو
- طریقوں
- مائیکروسافٹ
- مائیکروسافٹ ونڈوز
- شاید
- منتقلی
- منتقلی
- ML
- ماڈل
- جدید
- جدید خطوط پر استوار
- کی نگرانی
- زیادہ
- سب سے زیادہ
- منتقل
- MSI
- ایک سے زیادہ
- نام
- نام
- نام
- تشریف لے جائیں
- سمت شناسی
- ضرورت ہے
- نئی
- اگلے
- قابل ذکر
- تعداد
- اعتراض
- اشیاء
- تجویز
- ایک
- کھولتا ہے
- کام
- آپریٹنگ سسٹم
- کی اصلاح کریں
- دیگر
- دوسری صورت میں
- پیکج
- پین
- پینل
- متوازی
- شراکت داروں کے
- منظور
- جذباتی
- پاس ورڈ
- راستہ
- ادا
- چوٹی
- انجام دینے کے
- کارکردگی
- کارکردگی کا مظاہرہ
- منصوبہ
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- پوائنٹ
- ممکن
- پوسٹ
- ممکنہ
- طریقوں
- پیش قیاسی
- پیشن گوئی
- ضروریات
- پیش
- پہلے
- نجی
- طریقہ کار
- عمل
- پیداوار
- پروگرام
- پیش رفت
- منصوبے
- منصوبوں
- فراہم
- فراہم کرتا ہے
- ڈال
- سوال
- جلدی سے
- رینج
- احساس
- سفارش
- سفارشات
- سفارش کی
- ریکارڈ
- ریڈ
- کم
- جھلکتی ہے
- خطے
- رجسٹر
- متعلقہ
- ریلیز
- باقی
- دوبارہ
- کی جگہ
- کی جگہ
- نقل تیار
- رپورٹ
- رپورٹیں
- کی نمائندگی کرتا ہے
- درخواستوں
- کی ضرورت
- ضرورت
- لچکدار
- وسائل
- صلہ
- امیر
- دایاں کلک کریں
- کردار
- کردار
- ROW
- قوانین
- رن
- اسی
- توسیع پذیر
- پیمانے
- ترازو
- سکیلنگ
- اسکین
- سائنس
- سائنسدانوں
- سکرپٹ
- بغیر کسی رکاوٹ کے
- سیکنڈ
- سیکشن
- شعبے
- محفوظ بنانے
- سیکورٹی
- منتخب
- حساس
- بے سرور
- سروس
- سروسز
- مقرر
- سیٹ
- قائم کرنے
- ترتیبات
- کئی
- مشترکہ
- اشتراک
- ہونا چاہئے
- دکھائیں
- شوز
- سائن ان کریں
- سادہ
- ایک
- سائز
- سنیپشاٹ
- So
- حل
- حل
- کچھ
- ماخذ
- ماہر
- تیزی
- خرچ کرنا۔
- تقسیم
- اسپورٹس
- SSL
- کھینچنا
- شروع کریں
- شروع
- شروع ہوتا ہے
- بیانات
- شماریات
- کے اعداد و شمار
- درجہ
- مرحلہ
- مراحل
- بند کرو
- ذخیرہ
- ذخیرہ
- ذخیرہ
- پردہ
- کامیابی
- کامیابی کے ساتھ
- اس طرح
- سپر
- سوئچ کریں
- کے نظام
- ٹیبل
- لے لو
- لیتا ہے
- ہدف
- ٹاسک
- ٹیکنیکل
- ٹیکنالوجی
- ٹرمنل
- ۔
- ماخذ
- ان
- تیسری پارٹی
- تین
- وقت
- اوقات
- کرنے کے لئے
- رواداری
- کے آلے
- اوزار
- روایتی
- ٹرین
- تبدیل
- سچ
- بھروسہ رکھو
- کے تحت
- بنیادی
- سمجھ
- منفرد
- استعمال
- استعمال کی شرائط
- رکن کا
- صارفین
- تصدیق کریں۔
- توثیقی
- قیمتی
- قیمت
- اقدار
- وینڈر
- دکانداروں
- اس بات کی تصدیق
- ورژن
- لنک
- خیالات
- مجازی
- واک تھرو
- انتباہ
- ویب
- کیا
- جس
- جبکہ
- وسیع
- گے
- کھڑکیاں
- کے اندر
- بغیر
- ورک گروپ
- کام کر
- کام کرتا ہے
- ورکشاپ
- گا
- لکھنا
- لکھا
- اور
- زیفیرنیٹ