الأمازون الأحمر هو مستودع بيانات سريع ومُدار بالكامل على نطاق بيتابايت يوفر المرونة في استخدام الحوسبة المزودة أو بدون خادم لأحمال العمل التحليلية الخاصة بك. استخدام أمازون Redshift Serverless و محرر الاستعلام الإصدار 2 ، يمكنك تحميل مجموعات كبيرة من البيانات والاستعلام عنها ببضع نقرات فقط والدفع مقابل ما تستخدمه فقط. تتيح لك بنية الحوسبة والتخزين المنفصلة في Amazon Redshift إنشاء أحمال عمل قابلة للتطوير بدرجة عالية ومرنة وفعالة من حيث التكلفة. يقوم العديد من العملاء بترحيل أعباء عمل تخزين البيانات الخاصة بهم إلى Amazon Redshift والاستفادة من الإمكانات الغنية التي يوفرها. فيما يلي بعض الإمكانات البارزة:
- يتكامل Amazon Redshift بسلاسة مع النطاق الأوسع خدمات التحليلات على AWS. يمكّنك هذا من اختيار الأداة المناسبة للوظيفة المناسبة. التحليلات الحديثة أوسع بكثير من تخزين البيانات القائم على SQL. يتيح لك Amazon Redshift إنشاء ملفات أبنية منزل البحيرة ثم إجراء أي نوع من التحليلات ، مثل تحليلات تفاعلية, التحليلات التشغيلية, معالجة البيانات الضخمة, إعداد البيانات المرئية, التحليلات التنبؤية والتعلم الآلي (ML) ، وأكثر من ذلك.
- لا داعي للقلق بشأن أعباء العمل ، مثل ETL ولوحات المعلومات والاستعلامات المخصصة وما إلى ذلك ، التي تتداخل مع بعضها البعض. تستطيع عزل أعباء العمل باستخدام مشاركة البيانات ، أثناء استخدام نفس مجموعات البيانات الأساسية.
- عندما يقوم المستخدمون بتشغيل العديد من الاستعلامات في أوقات الذروة ، يمكنك إجراء عمليات حساب بسلاسة في غضون ثوانٍ لتوفير أداء ثابت بتزامن عالٍ. تحصل على ساعة واحدة من سعة توسيع التزامن المجانية لمدة 24 ساعة من الاستخدام. يلبي هذا الرصيد المجاني طلب التزامن بنسبة 97٪ من قاعدة عملاء Amazon Redshift.
- Amazon Redshift سهل الاستخدام مع ملفات ضبط النفس والتحسين الذاتي قدرات. يمكنك الحصول على رؤى أسرع دون قضاء وقت ثمين في إدارة مستودع البيانات الخاص بك.
- التسامح مع الخطأ يحمل في ثناياه عوامل. يتم نسخ جميع البيانات المكتوبة إلى Amazon Redshift تلقائيًا وباستمرار خدمة Amazon Simple Storage Service (Amazon S3). يتم استبدال أي أعطال في الأجهزة تلقائيًا.
- أمازون Redshift هو سهل التفاعل مع. يمكنك الوصول إلى البيانات باستخدام التطبيقات القائمة على خدمات الويب التقليدية والمستندة إلى السحابة الأصلية والمعبأة في حاويات وبدون خادم أو التطبيقات القائمة على الأحداث وما إلى ذلك.
- الانزياح الأحمر ML يُسهل على علماء البيانات إنشاء نماذج تعلم الآلة وتدريبها ونشرها باستخدام لغة SQL المألوفة. يمكنهم أيضًا إجراء التنبؤات باستخدام SQL.
- يوفر Amazon Redshift ملفات أمن البيانات الشامل بدون تكلفة إضافية. يمكنك إعداد تشفير البيانات من طرف إلى طرف ، وتكوين قواعد جدار الحماية ، وتحديد عناصر التحكم في أمان مستوى الصفوف والأعمدة في البيانات الحساسة ، وما إلى ذلك.
- الأمازون الأحمر يتكامل بسلاسة مع خدمات AWS الأخرى وأدوات الجهات الخارجية. يمكنك نقل مجموعات البيانات الكبيرة وتحويلها وتحميلها والاستعلام عنها بسرعة وموثوقية.
في هذا المنشور ، نقدم شرحًا تفصيليًا لترحيل مستودع بيانات من Google BigQuery إلى Amazon Redshift باستخدام أداة تحويل مخطط AWS (AWS SCT) و وكلاء استخراج بيانات AWS SCT. AWS SCT هي خدمة تجعل عمليات ترحيل قاعدة البيانات غير المتجانسة قابلة للتنبؤ عن طريق التحويل التلقائي لمعظم كود قاعدة البيانات وكائنات التخزين إلى تنسيق متوافق مع قاعدة البيانات الهدف. يتم تمييز أي كائنات لا يمكن تحويلها تلقائيًا بشكل واضح بحيث يمكن تحويلها يدويًا لإكمال الترحيل. علاوة على ذلك ، يمكن لـ AWS SCT مسح رمز التطبيق الخاص بك بحثًا عن عبارات SQL المضمنة وتحويلها.
حل نظرة عامة
تستخدم AWS SCT حساب خدمة للاتصال بمشروع BigQuery الخاص بك. أولاً ، نقوم بإنشاء قاعدة بيانات Amazon Redshift حيث يتم ترحيل بيانات BigQuery إليها. بعد ذلك ، نقوم بإنشاء دلو S3. بعد ذلك ، نستخدم AWS SCT لتحويل مخططات BigQuery وتطبيقها على Amazon Redshift. أخيرًا ، لترحيل البيانات ، نستخدم وكلاء استخراج بيانات AWS SCT ، الذين يستخرجون البيانات من BigQuery ، ويحملونها في حاوية S3 ، ثم نسخها إلى Amazon Redshift.
المتطلبات الأساسية المسبقة
قبل البدء في هذه الإرشادات ، يجب أن تتوفر لديك المتطلبات الأساسية التالية:
- محطة عمل مع AWS SCT ، أمازون كوريتو 11وسائقي Amazon Redshift.
- يمكنك استخدام سحابة Amazon Elastic Compute (Amazon EC2)) المثيل أو سطح المكتب المحلي كمحطة عمل. في هذه الإرشادات ، نستخدم مثيل Amazon EC2 Windows. لإنشائه ، استخدم هذا دليل.
- لتنزيل AWS SCT وتثبيته على مثيل EC2 الذي قمت بإنشائه مسبقًا ، استخدم هذا دليل.
- قم بتنزيل برنامج تشغيل Amazon Redshift JDBC من هذا الموقع.
- تحميل وتثبيت أمازون كوريتو 11.
- حساب خدمة GCP يمكن لـ AWS SCT استخدامه للاتصال بمشروع BigQuery المصدر.
- منحة مشرف BigQuery و مدير التخزين الأدوار لحساب الخدمة.
- انسخ ملف مفتاح حساب الخدمة ، الذي تم إنشاؤه في وحدة تحكم إدارة السحابة من Google ، إلى مثيل EC2 الذي يحتوي على AWS SCT.
- أنشئ حاوية Cloud Storage في GCP لتخزين بيانات المصدر أثناء الترحيل.
تغطي هذه الإرشادات الخطوات التالية:
- أنشئ مجموعة عمل Amazon Redshift Serverless Workgroup و Namespace
- أنشئ حاوية ومجلد AWS S3
- قم بتحويل مخطط BigQuery وتطبيقه على Amazon Redshift باستخدام AWS SCT
- الاتصال بمصدر Google BigQuery
- اتصل بهدف Amazon Redshift
- تحويل مخطط BigQuery إلى Amazon Redshift
- تحليل تقرير التقييم وتناول عناصر العمل
- تطبيق مخطط محوّل لاستهداف Amazon Redshift
- ترحيل البيانات باستخدام وكلاء استخراج بيانات AWS SCT
- إنشاء الثقة والمخازن الرئيسية (اختياري)
- تثبيت وبدء عامل استخراج البيانات
- سجل وكيل استخراج البيانات
- إضافة أقسام افتراضية للجداول الكبيرة (اختياري)
- إنشاء مهمة الهجرة المحلية
- ابدأ مهمة ترحيل البيانات المحلية
- عرض البيانات في Amazon Redshift
أنشئ مجموعة عمل Amazon Redshift Serverless Workgroup و Namespace
في هذه الخطوة ، نقوم بإنشاء مجموعة عمل Amazon Redshift Serverless ومساحة اسم. مجموعة العمل عبارة عن مجموعة من موارد الحوسبة ومساحة الاسم هي مجموعة من كائنات قاعدة البيانات والمستخدمين. لعزل أعباء العمل وإدارة الموارد المختلفة في Amazon Redshift Serverless ، يمكنك إنشاء مساحات أسماء ومجموعات عمل وإدارة التخزين وحساب الموارد بشكل منفصل.
اتبع هذه الخطوات لإنشاء مجموعة عمل Amazon Redshift Serverless ومساحة الاسم:
- انتقل إلى وحدة تحكم أمازون Redshift.
- في الجزء العلوي الأيمن ، اختر منطقة AWS التي تريد استخدامها.
- قم بتوسيع جزء Amazon Redshift على اليسار واختر الانزياح الأحمر Serverless.
- اختار إنشاء مجموعة العمل.
- في حالة اسم مجموعة العمل ، أدخل اسمًا يصف موارد الحساب.
- تحقق من أن VPC هو نفس VPC مثل مثيل EC2 مع AWS SCT.
- اختار التالى.
- في حالة اسم مساحة الاسم، أدخل اسمًا يصف مجموعة البيانات الخاصة بك.
- In اسم قاعدة البيانات وكلمة المرور ، حدد خانة الاختيار تخصيص بيانات اعتماد المستخدم الإداري.
- في حالة اسم المستخدم المسؤول ، أدخل اسم مستخدم من اختيارك ، على سبيل المثال awsuser.
- في حالة كلمة مرور المستخدم المسؤول: أدخل كلمة مرور من اختيارك ، على سبيل المثال ماي ريد شيفت بي دبليو 2022.
- اختار التالي. لاحظ أن البيانات في مساحة الاسم Amazon Redshift Serverless يتم تشفيرها افتراضيًا.
- في مجلة مراجعة وإنشاء الصفحة ، اختر إنشاء.
- خلق AWS لإدارة الهوية والوصول (IAM) وقم بتعيينه كافتراضي في مساحة الاسم الخاصة بك ، كما هو موضح في ما يلي. لاحظ أنه يمكن أن يكون هناك دور IAM افتراضي واحد فقط.
- انتقل إلى لوحة تحكم Amazon Redshift Serverless.
- تحت مساحات الأسماء / مجموعات العمل، اختر مساحة الاسم التي أنشأتها للتو.
- انتقل إلىالأمن والتشفير.
- تحت أذونات، اختر إدارة أدوار IAM.
- انتقل إلى إدارة أدوار IAM. ثم اختر ملف إدارة أدوار IAM القائمة المنسدلة واختر إنشاء دور IAM.
- تحت حدد حاوية Amazon S3 لدور IAM للوصول إليه، اختر إحدى الطرق التالية:
- اختار لا توجد حاوية Amazon S3 إضافية للسماح لدور IAM الذي تم إنشاؤه بالوصول فقط إلى حاويات S3 التي يبدأ اسمها بالإزاحة الحمراء.
- اختار أي حاوية Amazon S3 للسماح لدور IAM الذي تم إنشاؤه بالوصول إلى جميع حاويات S3.
- اختار حاويات Amazon S3 محددة لتحديد حاوية S3 واحدة أو أكثر لدور IAM الذي تم إنشاؤه للوصول إليه. ثم اختر حاوية S3 واحدة أو أكثر من الجدول.
- اختار إنشاء دور IAM كإعداد افتراضي. يقوم Amazon Redshift تلقائيًا بإنشاء وتعيين دور IAM على أنه دور افتراضي.
- التقط نقطة النهاية لمجموعة العمل Amazon Redshift Serverless التي أنشأتها للتو.
قم بإنشاء دلو ومجلد S3
أثناء عملية ترحيل البيانات ، تستخدم AWS SCT Amazon S3 كمنطقة انطلاق للبيانات المستخرجة. اتبع هذه الخطوات لإنشاء حاوية S3:
- انتقل إلى وحدة تحكم Amazon S3
- اختار إنشاء دلو. إنشاء دلو يفتح المعالج.
- في حالة اسم الدلو، أدخل اسمًا فريدًا متوافقًا مع DNS للحاوية الخاصة بك (على سبيل المثال ، اسم فريد- bq-rs). راجع قواعد تسمية الجرافة عند اختيار الاسم.
- بالنسبة لمنطقة AWS ، اختر المنطقة التي أنشأت فيها مجموعة عمل Amazon Redshift Serverless.
- أختار إنشاء دلو.
- في مجلة وحدة تحكم Amazon S3، انتقل إلى حاوية S3 التي أنشأتها للتو (على سبيل المثال ، اسم فريد- bq-rs).
- اختار "أنشئ مجلد" لإنشاء مجلد جديد.
- في حالة إسم الملف، أدخل الوارد واختر أنشئ مجلد.
قم بتحويل مخطط BigQuery وتطبيقه على Amazon Redshift باستخدام AWS SCT
لتحويل مخطط BigQuery إلى تنسيق Amazon Redshift ، نستخدم AWS SCT. ابدأ بتسجيل الدخول إلى مثيل EC2 الذي أنشأناه سابقًا ، ثم قم بتشغيل AWS SCT.
اتبع هذه الخطوات باستخدام AWS SCT:
اتصل بمصدر BigQuery
- XNUMX. من قائمة القائمة ملف اختر إنشاء مشروع جديد.
- اختر موقعًا لتخزين ملفات وبيانات المشروع.
- قدم اسمًا ذا مغزى لكن لا يُنسى لمشروعك ، مثل BigQuery إلى Amazon Redshift.
- للاتصال بمستودع بيانات مصدر BigQuery ، اختر أضف المصدر من القائمة الرئيسية.
- اختار الاستعلام الشامل واختر التالى. ال أضف المصدر يظهر مربع الحوار.
- في حالة اسم الاتصال، أدخل اسمًا لوصف اتصال BigQuery. يعرض AWS SCT هذا الاسم في الشجرة الموجودة في اللوحة اليمنى.
- في حالة المسار الرئيسي، قم بتوفير مسار ملف مفتاح حساب الخدمة الذي تم إنشاؤه مسبقًا في وحدة تحكم إدارة السحابة من Google.
- اختار اختبار اتصال للتحقق من أن AWS SCT يمكنها الاتصال بمشروع BigQuery المصدر الخاص بك.
- بمجرد التحقق من الاتصال بنجاح ، اختر التواصل.
اتصل بهدف Amazon Redshift
اتبع هذه الخطوات للاتصال بـ Amazon Redshift:
- في AWS SCT ، اختر إضافة الهدف من القائمة الرئيسية.
- اختار الأمازون الأحمر، ثم اختر التالي. • إضافة الهدف يظهر مربع الحوار.
- في حالة اسم الاتصال، أدخل اسمًا لوصف اتصال Amazon Redshift. يعرض AWS SCT هذا الاسم في الشجرة الموجودة في اللوحة اليمنى.
- في حالة اسم الخادم، أدخل نقطة نهاية مجموعة عمل Amazon Redshift Serverless التي تم التقاطها مسبقًا.
- في حالة منفذ الخادم ، أدخل 5439.
- في حالة قاعدة البيانات، أدخل ديف.
- في حالة اسم المستخدم، أدخل اسم المستخدم المختار عند إنشاء مجموعة عمل Amazon Redshift Serverless.
- في حالة كلمة المرور، أدخل كلمة المرور المختارة عند إنشاء مجموعة عمل Amazon Redshift Serverless.
- قم بإلغاء التحديد مربع "استخدام AWS Glue".
- اختار اختبار اتصال للتحقق من أن AWS SCT يمكنها الاتصال بمجموعة عمل Amazon Redshift المستهدفة الخاصة بك.
- اختار التواصل للاتصال بهدف Amazon Redshift.
لاحظ أنه يمكنك بدلاً من ذلك استخدام قيم الاتصال المخزنة في مدير أسرار AWS.
تحويل مخطط BigQuery إلى Amazon Redshift
بعد إجراء اتصالات المصدر والهدف بنجاح ، سترى شجرة كائن BigQuery المصدر في الجزء الأيمن واستهدف شجرة كائن Amazon Redshift في الجزء الأيمن.
اتبع هذه الخطوات لتحويل مخطط BigQuery إلى تنسيق Amazon Redshift:
- في الجزء الأيمن ، انقر بزر الماوس الأيمن فوق المخطط الذي تريد تحويله.
- اختار تحويل المخطط.
- يظهر مربع حوار مع سؤال ، قد تكون الكائنات موجودة بالفعل في قاعدة البيانات الهدف. يحل محل؟. اختار نعم.
بمجرد اكتمال التحويل ، سترى مخططًا جديدًا تم إنشاؤه في جزء Amazon Redshift (الجزء الأيمن) بنفس اسم مخطط BigQuery الخاص بك.
يحتوي نموذج المخطط الذي استخدمناه على 16 جدولًا و 3 طرق عرض و 3 إجراءات. يمكنك رؤية هذه الكائنات بتنسيق Amazon Redshift في الجزء الأيمن. تحوّل AWS SCT جميع رموز BigQuery وكائنات البيانات إلى تنسيق Amazon Redshift. علاوة على ذلك ، يمكنك استخدام AWS SCT لتحويل نصوص SQL الخارجية أو تعليمات برمجية التطبيق أو ملفات إضافية باستخدام SQL مضمن.
تحليل تقرير التقييم وتناول عناصر العمل
تُنشئ AWS SCT تقرير تقييم لتقييم مدى تعقيد الترحيل. يمكن لـ AWS SCT تحويل غالبية كائنات التعليمات البرمجية وقاعدة البيانات. ومع ذلك ، قد تتطلب بعض الكائنات التحويل اليدوي. تبرز AWS SCT هذه الكائنات باللون الأزرق في الرسم التخطيطي لإحصاءات التحويل وتنشئ عناصر عمل ذات تعقيد مرتبط بها.
لعرض تقرير التقييم ، قم بالتبديل من شاشة العرض الرئيسية إلى عرض تقرير التقييم كما يلي:
• نبذة عامة تعرض علامة التبويب الكائنات التي تم تحويلها تلقائيًا ، والكائنات التي لم يتم تحويلها تلقائيًا. يمثل اللون الأخضر المحول تلقائيًا أو مع عناصر عمل بسيطة. يمثل اللون الأزرق عناصر عمل متوسطة ومعقدة تتطلب تدخلًا يدويًا.
• خطوات العمل توضح علامة التبويب الإجراءات الموصى بها لكل مشكلة تحويل. إذا قمت بتحديد عنصر عمل من القائمة ، فإن AWS SCT تبرز الكائن الذي ينطبق عليه عنصر الإجراء.
يحتوي التقرير أيضًا على توصيات حول كيفية تحويل عنصر المخطط يدويًا. على سبيل المثال ، بعد تشغيل التقييم ، تعرض لك التقارير التفصيلية لقاعدة البيانات / المخطط الجهد المطلوب لتصميم التوصيات وتنفيذها لتحويل عناصر الإجراء. لمزيد من المعلومات حول تحديد كيفية التعامل مع التحويلات اليدوية ، راجع التعامل مع التحويلات اليدوية في AWS SCT. يتخذ Amazon Redshift بعض الإجراءات تلقائيًا أثناء تحويل المخطط إلى Amazon Redshift. يتم تمييز الكائنات التي تحتوي على هذه الإجراءات بعلامة تحذير حمراء.
يمكنك تقييم وفحص عنصر DDL الفردي عن طريق تحديده من الجزء الأيمن ، ويمكنك أيضًا تحريره حسب الحاجة. في المثال التالي ، تعدل AWS SCT أعمدة نوع البيانات RECORD و JSON في جدول BigQuery ncaaf_referee_data إلى نوع بيانات SUPER في Amazon Redshift. يتم تحويل مفتاح القسم في جدول ncaaf_referee_data إلى مفتاح التوزيع ومفتاح الفرز في Amazon Redshift.
تطبيق مخطط محوّل لاستهداف Amazon Redshift
لتطبيق المخطط المحول على Amazon Redshift ، حدد المخطط المحول في الجزء الأيسر ، وانقر بزر الماوس الأيمن ، ثم اختر تنطبق على قاعدة البيانات.
قم بترحيل البيانات من BigQuery إلى Amazon Redshift باستخدام وكلاء استخراج بيانات AWS SCT
يقوم وكلاء استخراج AWS SCT باستخراج البيانات من قاعدة بيانات المصدر وترحيلها إلى سحابة AWS. في هذه الإرشادات التفصيلية ، نعرض كيفية تكوين وكلاء استخراج AWS SCT لاستخراج البيانات من BigQuery والترحيل إلى Amazon Redshift.
أولاً ، قم بتثبيت وكيل استخراج AWS SCT على نفس مثيل Windows الذي تم تثبيت AWS SCT عليه. للحصول على أداء أفضل ، نوصي باستخدام مثيل Linux منفصل لتثبيت عوامل الاستخراج إن أمكن. بالنسبة لمجموعات البيانات الكبيرة ، يمكنك استخدام العديد من وكلاء استخراج البيانات لزيادة سرعة ترحيل البيانات.
توليد الثقة ومخازن المفاتيح (اختياري)
يمكنك استخدام الاتصال المشفر بطبقة مآخذ التوصيل الآمنة (SSL) مع مستخلصات بيانات AWS SCT. عند استخدام SSL ، تظل جميع البيانات التي تم تمريرها بين التطبيقات خاصة ومتكاملة. لاستخدام اتصال SSL ، يجب أن تولد الثقة ومخازن المفاتيح باستخدام AWS SCT. يمكنك تخطي هذه الخطوة إذا كنت لا تريد استخدام SSL. نوصي باستخدام SSL لأحمال عمل الإنتاج.
اتبع هذه الخطوات لتوليد الثقة والمخازن الرئيسية:
- في AWS SCT ، انتقل إلى الإعدادات ← الإعدادات العامة ← الأمان.
- اختار توليد الثقة ومخزن المفاتيح.
- أدخل الاسم وكلمة المرور لمخازن الثقة والمفاتيح واختر الموقع الذي ترغب في تخزينها فيه.
- اختار توليد.
تثبيت وتكوين عامل استخراج البيانات
في حزمة التثبيت لـ AWS SCT ، تجد وكيل مجلد فرعي (aws-schema-conversion-tool-1.0.latest.zipagents
). حدد موقع الملف القابل للتنفيذ وقم بتثبيته باسم مثل aws-schema-convert-tool-extractor-xxxxxxxx.msi.
في عملية التثبيت ، اتبع هذه الخطوات لتكوين AWS SCT Data Extractor:
- في حالة ميناء الاستماع، أدخل رقم المنفذ الذي يستمع إليه الوكيل. هو 8192 افتراضيًا.
- في حالة إضافة مورد مصدر، أدخل لا، لأنك لست بحاجة إلى برامج تشغيل للاتصال بـ BigQuery.
- في حالة أضف برنامج تشغيل Amazon Redshift، أدخل نعم.
- في حالة أدخل ملف أو ملفات برنامج تشغيل Redshift JDBC، أدخل الموقع حيث قمت بتنزيل برامج تشغيل Amazon Redshift JDBC.
- في حالة مجلد العمل، أدخل المسار حيث يقوم وكيل استخراج البيانات AWS SCT بتخزين البيانات المستخرجة. يمكن أن يكون مجلد العمل على جهاز كمبيوتر مختلف عن الوكيل ، ويمكن مشاركة مجلد عمل واحد بواسطة وكلاء متعددين على أجهزة كمبيوتر مختلفة.
- في حالة قم بتمكين اتصال SSL، أدخل نعم فعلا. اختر لا هنا إذا كنت لا تريد استخدام SSL.
- في حالة مخزن المفتاح، أدخل موقع التخزين المختار عند إنشاء مخزن الثقة والمفاتيح.
- في حالة كلمة مرور مخزن المفاتيح، أدخل كلمة المرور لمخزن المفاتيح.
- في حالة تفعيل مصادقة SSL للعميل، أدخل نعم فعلا.
- في حالة متجر الثقة، أدخل موقع التخزين المختار عند إنشاء مخزن الثقة والمفاتيح.
- في حالة ثق بكلمة مرور المتجر، أدخل كلمة المرور الخاصة بـ Trust store.
بدء عامل (عوامل) استخراج البيانات
استخدم الإجراء التالي لبدء عوامل الاستخراج. كرر هذا الإجراء على كل كمبيوتر مثبت عليه عامل استخراج.
وكلاء الاستخراج يعملون كمستمعين. عند بدء وكيل بهذا الإجراء ، يبدأ الوكيل في الاستماع للتعليمات. تقوم بإرسال تعليمات الوكلاء لاستخراج البيانات من مستودع البيانات الخاص بك في قسم لاحق.
لبدء وكيل الاستخراج ، انتقل إلى دليل AWS SCT Data Extractor Agent. على سبيل المثال ، في Microsoft Windows ، انقر نقرًا مزدوجًا C:Program FilesAWS SCT Data Extractor AgentStartAgent.bat
.
- على الكمبيوتر المثبت عليه عامل الاستخراج ، من موجه الأوامر أو النافذة الطرفية ، قم بتشغيل الأمر المدرج بعد نظام التشغيل الخاص بك.
- للتحقق من حالة الوكيل ، قم بتشغيل نفس الأمر ولكن استبدل البدء بالحالة.
- لإيقاف وكيل ، قم بتشغيل نفس الأمر ولكن استبدل start بـ stop.
- لإعادة تشغيل عامل ، قم بتشغيل نفس ملف RestartAgent.bat.
سجل وكيل استخراج البيانات
اتبع هذه الخطوات لتسجيل وكيل استخراج البيانات:
- في AWS SCT ، قم بتغيير العرض إلى طريقة عرض ترحيل البيانات (أخرى) واختر + التسجيل.
- في علامة التبويب الاتصال:
- في حالة الوصف، أدخل اسمًا لتعريف عامل استخراج البيانات.
- في حالة اسم المضيف ، إذا قمت بتثبيت Data Extraction Agent على نفس محطة العمل مثل AWS SCT ، فأدخل 0.0.0.0 للإشارة إلى المضيف المحلي. بخلاف ذلك ، أدخل اسم المضيف للجهاز المثبت عليه AWS SCT Data Extraction Agent. يوصى بتثبيت وكلاء استخراج البيانات على Linux للحصول على أداء أفضل.
- في حالة ميناء، أدخل الرقم الذي تم إدخاله لـ ميناء الاستماع عند تثبيت وكيل استخراج البيانات AWS SCT.
- حدد خانة الاختيار لاستخدام SSL (في حالة استخدام SSL) لتشفير اتصال AWS SCT بعامل استخراج البيانات.
- إذا كنت تستخدم SSL ، ففي علامة التبويب SSL:
- في حالة متجر الثقة ، اختر اسم متجر الثقة الذي تم إنشاؤه عندما إنشاء Trust and Key Stores (اختياريًا ، يمكنك تخطي ذلك إذا لم تكن هناك حاجة لاتصال SSL).
- في حالة المتجر الرئيسي ، اختر اسم مخزن المفاتيح الذي تم إنشاؤه عندما إنشاء Trust and Key Stores (اختياريًا ، يمكنك تخطي ذلك إذا لم تكن هناك حاجة لاتصال SSL).
- اختار اختبار اتصال.
- بمجرد التحقق من الاتصال بنجاح ، اختر تسجيل.
إضافة أقسام افتراضية للجداول الكبيرة (اختياري)
يمكنك استخدام AWS SCT لإنشاء أقسام افتراضية لتحسين أداء الترحيل. عند إنشاء أقسام افتراضية ، تستخرج AWS SCT البيانات بالتوازي مع الأقسام. نوصي بإنشاء أقسام افتراضية للجداول الكبيرة.
اتبع هذه الخطوات لإنشاء أقسام افتراضية:
- قم بإلغاء تحديد كل الكائنات في عرض قاعدة البيانات المصدر في AWS SCT.
- اختر الجدول الذي ترغب في إضافة تقسيم افتراضي له.
- انقر بزر الماوس الأيمن على الجدول واختر أضف التقسيم الظاهري.
- يمكنك استخدام أقسام القائمة أو النطاق أو التقسيم التلقائي. لمعرفة المزيد حول التقسيم الظاهري ، ارجع إلى استخدم التقسيم الافتراضي في AWS SCT. في هذا المثال ، نستخدم التقسيم التلقائي ، والذي يقوم بإنشاء أقسام النطاق تلقائيًا. يمكنك تحديد قيمة البداية والقيمة النهائية ومدى حجم القسم. تحدد AWS SCT الأقسام تلقائيًا. للحصول على عرض توضيحي ، في جدول ترتيب الخط:
- في حالة قيمه البدايه، أدخل 1000000.
- في حالة قيمة النهاية، أدخل 3000000.
- في حالة الفاصلة، أدخل 1000000 للإشارة إلى حجم القسم.
- اختار موافق.
يمكنك رؤية الأقسام التي تم إنشاؤها تلقائيًا ضمن ملف أقسام افتراضية التبويب. في هذا المثال ، أنشأت AWS SCT تلقائيًا الأقسام الخمسة التالية للحقل:
-
- > = 1000000 و <= 2000000
- > 2000000 و <= 3000000
- > 3000000
- باطل
إنشاء مهمة الهجرة المحلية
لترحيل البيانات من BigQuery إلى Amazon Redshift ، قم بإنشاء مهمة الترحيل المحلية وتشغيلها ومراقبتها من AWS SCT. تستخدم هذه الخطوة عامل استخراج البيانات لترحيل البيانات عن طريق إنشاء مهمة.
اتبع هذه الخطوات لإنشاء مهمة ترحيل محلية:
- في AWS SCT ، أسفل اسم المخطط في الجزء الأيسر ، انقر بزر الماوس الأيمن فوق الجداول القياسية.
- اختار إنشاء مهمة محلية.
- هناك ثلاثة أوضاع ترحيل يمكنك الاختيار من بينها:
- استخراج بيانات المصدر وتخزينها على جهاز كمبيوتر محلي / جهاز ظاهري (VM) حيث يعمل الوكيل.
- استخراج البيانات وتحميلها على حاوية S3.
- اختر استخراج التحميل والنسخ ، الذي يستخرج البيانات إلى حاوية S3 ثم نسخها إلى Amazon Redshift.
- في مجلة متقدم علامة التبويب ، لـ مجلد دلو Google CS أدخل حاوية / مجلد Google Cloud Storage الذي أنشأته مسبقًا في وحدة تحكم إدارة GCP. تقوم AWS SCT بتخزين البيانات المستخرجة في هذا الموقع.
- في مجلة إعدادات Amazon S3 علامة التبويب ، لـ مجلد دلو Amazon S3 ، قم بتوفير أسماء الحاوية والمجلدات لحاوية S3 التي قمت بإنشائها مسبقًا. يقوم وكيل استخراج بيانات AWS SCT بتحميل البيانات إلى حاوية / مجلد S3 قبل نسخها إلى Amazon Redshift.
- اختار اختبار المهمة.
- بمجرد التحقق من صحة المهمة بنجاح ، اختر إنشاء.
ابدأ مهمة ترحيل البيانات المحلية
لبدء المهمة ، اختر ملف آبدأ زر في المهام علامة التبويب.
- أولاً ، يستخرج عامل استخراج البيانات البيانات من BigQuery في حاوية تخزين GCP.
- بعد ذلك ، يقوم الوكيل بتحميل البيانات إلى Amazon S3 ويطلق أمر نسخ لنقل البيانات إلى Amazon Redshift.
- في هذه المرحلة ، نجحت AWS SCT في ترحيل البيانات من جدول BigQuery المصدر إلى جدول Amazon Redshift.
اعرض البيانات في Amazon Redshift
بعد تنفيذ مهمة ترحيل البيانات بنجاح ، يمكنك الاتصال بـ Amazon Redshift والتحقق من صحة البيانات.
اتبع هذه الخطوات للتحقق من صحة البيانات في Amazon Redshift:
- انتقل إلى Amazon Redshift QueryEditor V2.
- انقر نقرًا مزدوجًا فوق اسم مجموعة العمل Amazon Redshift Serverless الذي قمت بإنشائه.
- اختيار مستخدم متحد الخيار تحت المصادقة.
- اختار إنشاء اتصال.
- أنشئ محررًا جديدًا عن طريق اختيار ملف + الرمز.
- في المحرر ، اكتب استعلامًا للاختيار من اسم المخطط واسم الجدول / اسم العرض الذي تريد التحقق منه. استكشف البيانات ، وقم بتشغيل الاستعلامات المخصصة ، وقم بعمل تصورات ومخططات وطرق عرض.
فيما يلي مقارنة جنبًا إلى جنب بين BigQuery المصدر واستهداف Amazon Redshift لمجموعة البيانات الرياضية التي استخدمناها في هذه الإرشادات التفصيلية.
قم بتنظيف أي من موارد AWS التي قمت بإنشائها لهذا التمرين
اتبع هذه الخطوات لإنهاء مثيل EC2:
- انتقل إلى وحدة تحكم Amazon EC2.
- في جزء التنقل ، اختر الحالات.
- حدد خانة الاختيار الخاصة بمثيل EC2 الذي قمت بإنشائه.
- اختار حالة المثيل، ومن ثم إنهاء المثيل.
- اختار إنهاء عندما يُطلب منك التأكيد.
اتبع هذه الخطوات لحذف مجموعة عمل Amazon Redshift Serverless ومساحة الاسم
- انتقل إلى لوحة تحكم Amazon Redshift Serverless.
- تحت مساحات الأسماء / مجموعات العمل، اختر مساحة العمل التي قمت بإنشائها.
- تحت الإجراءات، اختر حذف مجموعة العمل.
- حدد خانة الاختيار احذف مساحة الاسم المرتبطة.
- قم بإلغاء التحديد إنشاء لقطة نهائية.
- أدخل حذف في مربع نص تأكيد الحذف واختر حذف.
اتبع هذه الخطوات لحذف حاوية S3
- انتقل إلى وحدة تحكم Amazon S3.
- اختر الدلو الذي قمت بإنشائه.
- اختار حذف.
- لتأكيد الحذف ، أدخل اسم المجموعة في حقل إدخال النص.
- اختار حذف دلو.
وفي الختام
يمكن أن يكون ترحيل مستودع البيانات مشروعًا صعبًا ومعقدًا ولكنه مجزي. يقلل AWS SCT من تعقيد عمليات ترحيل مستودع البيانات. بعد هذه الإرشادات التفصيلية ، يمكنك فهم كيفية قيام مهمة ترحيل البيانات باستخراج البيانات وتنزيلها ثم ترحيلها من BigQuery إلى Amazon Redshift. الحل الذي قدمناه في هذا المنشور يقوم بترحيل كائنات قاعدة البيانات وبياناتها لمرة واحدة. لن تنعكس تغييرات البيانات التي تم إجراؤها في BigQuery عندما يكون الترحيل قيد التقدم في Amazon Redshift. عندما يكون ترحيل البيانات قيد التقدم ، ضع وظائف ETL الخاصة بك في BigQuery قيد الانتظار أو أعد تشغيل ETLs من خلال الإشارة إلى Amazon Redshift بعد الترحيل. ضع في اعتبارك استخدام أفضل الممارسات لـ AWS SCT.
لدى AWS SCT بعض القيود عند استخدام BigQuery كمصدر. على سبيل المثال ، لا يمكن لـ AWS SCT تحويل الاستعلامات الفرعية في وظائف تحليلية ووظائف جغرافية ووظائف تجميع إحصائية وما إلى ذلك. ابحث عن القائمة الكاملة للقيود في دليل مستخدم AWS SCT. نحن نخطط لمعالجة هذه القيود في الإصدارات المستقبلية. على الرغم من هذه القيود ، يمكنك استخدام AWS SCT لتحويل معظم كود BigQuery وكائنات التخزين تلقائيًا.
قم بتنزيل وتثبيت AWS SCT، قم بتسجيل الدخول إلى وحدة تحكم AWS، تحقق من Amazon Redshift Serverless وابدأ الترحيل!
عن المؤلفين
سيدريك هودي هو مهندس حلول يركز على عمليات ترحيل قاعدة البيانات باستخدام AWS Database Migration Service (DMS) وأداة تحويل مخطط AWS (SCT) في AWS. يعمل على التحديات المتعلقة بترحيل قاعدة البيانات. إنه يعمل بشكل وثيق مع عملاء قطاع الأعمال في EdTech والطاقة و ISV لمساعدتهم على إدراك الإمكانات الحقيقية لخدمة DMS. لقد ساعد في ترحيل مئات من قواعد البيانات إلى سحابة AWS باستخدام DMS و SCT.
اميت أرورا هو مهندس حلول يركز على قواعد البيانات والتحليلات في AWS. إنه يعمل مع عملاء التكنولوجيا المالية والطاقة العالمية وشركاء AWS المعتمدين لتقديم المساعدة الفنية وتصميم حلول العملاء في مشاريع الترحيل إلى السحابة ، مما يساعد العملاء على ترحيل وتحديث قواعد البيانات الحالية الخاصة بهم إلى سحابة AWS.
جاغاديش كومار هو مهندس حلول متخصص في التحليلات في AWS ويركز على Amazon Redshift. إنه شغوف للغاية بهندسة البيانات ويساعد العملاء على بناء حلول تحليلية على نطاق واسع على AWS.
أنوشا شالا هو كبير مهندسي الحلول المتخصصين في التحليلات في AWS ويركز على Amazon Redshift. لقد ساعدت العديد من العملاء في بناء حلول مستودعات البيانات واسعة النطاق في السحابة وفي أماكن العمل. أنوشا متحمسة لتحليلات البيانات وعلوم البيانات وتمكين العملاء من تحقيق النجاح في مشاريع البيانات واسعة النطاق الخاصة بهم.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/big-data/migrate-google-bigquery-to-amazon-redshift-using-aws-schema-conversion-tool-sct/
- 1
- 10
- 100
- 9
- a
- من نحن
- الوصول
- حسابي
- التأهيل
- عمل
- اكشن
- الإجراءات
- إضافي
- العنوان
- مشرف
- بعد
- الوكيل
- عملاء
- الكل
- سابقا
- أمازون
- تحليلي
- تحليلية
- تحليلات
- و
- تطبيق
- التطبيقات
- التقديم
- هندسة معمارية
- المنطقة
- التقييم المناسبين
- مساعدة
- أسوشيتد
- التحقّق من المُستخدم
- السيارات
- تلقائيا
- AWS
- قاعدة
- BAT
- قبل
- تستفيد
- أفضل
- ما بين
- كبير
- الأزرق
- صندوق
- نساعدك في بناء
- الأعمال
- زر
- يستطيع الحصول على
- لا تستطيع
- قدرات
- الطاقة الإنتاجية
- الأطباء
- التحديات
- تحدي
- تغيير
- التغييرات
- الرسوم البيانية
- التحقق
- الدفع
- خيار
- اختار
- اختيار
- اختيار
- بوضوح
- زبون
- عن كثب
- سحابة
- سحابة التخزين
- الكود
- مجموعة شتاء XNUMX
- عمود
- الأعمدة
- Communication
- مقارنة
- متوافق
- إكمال
- مجمع
- تعقيد
- إحصاء
- الكمبيوتر
- أجهزة الكمبيوتر
- الاعداد
- أكد
- التواصل
- صلة
- التواصل
- الإتصال
- نظر
- ثابتة
- كنسولات
- يحتوي
- ضوابط
- تحويل
- التحويلات
- تحول
- تحويلها
- تقليد
- التكلفة
- فعاله من حيث التكلفه
- خلق
- خلق
- يخلق
- خلق
- ائتمان
- زبون
- حلول العملاء
- العملاء
- البيانات
- تحليلات البيانات
- علم البيانات
- تبادل البيانات
- قاعدة البيانات
- قواعد البيانات
- قواعد البيانات
- اتخاذ القرار
- الترتيب
- الطلب
- نشر
- وصف
- وصف
- تصميم
- سطح المكتب
- على الرغم من
- مفصلة
- يحدد
- حوار
- مختلف
- يعرض
- توزيع
- لا
- بإمكانك تحميله
- التنزيلات
- سائق
- السائقين
- أثناء
- كل
- في وقت سابق
- سهلة الاستخدام
- رئيس التحرير
- جهد
- جزءا لا يتجزأ من
- تمكين
- تمكن
- تمكين
- مشفرة
- التشفير
- النهائي إلى نهاية
- نقطة النهاية
- طاقة
- أدخل
- دخل
- البيئة
- الأثير (ETH)
- تقييم
- مثال
- ينفذ
- القائمة
- اكتشف
- خارجي
- احتفل على
- استخراج
- مقتطفات
- مألوف
- FAST
- أسرع
- قليل
- حقل
- قم بتقديم
- ملفات
- نهائي
- أخيرا
- مالي
- التكنولوجيا المالية
- جدار الحماية
- الاسم الأول
- مرونة
- تركز
- ركز
- اتباع
- متابعيك
- متابعات
- شكل
- مجانًا
- تبدأ من
- بالإضافة إلى
- وظائف
- علاوة على ذلك
- مستقبل
- توليد
- ولدت
- يولد
- جغرافية
- دولار فقط واحصل على خصم XNUMX% على جميع
- العالمية
- شراء مراجعات جوجل
- سحابة جوجل
- أخضر
- مقبض
- أجهزة التبخير
- مساعدة
- ساعد
- مساعدة
- يساعد
- هنا
- مرتفع
- ويبرز
- جدا
- عقد
- الصفحة الرئيسية
- مضيف
- ساعات العمل
- منـزل
- كيفية
- كيفية
- لكن
- HTML
- HTTPS
- اي كون
- تحديد
- هوية
- تنفيذ
- in
- القيمة الاسمية
- تشير
- فرد
- معلومات
- إدخال
- رؤى
- تثبيت
- تركيب
- مثل
- تعليمات
- متكامل
- يدمج
- تفاعل
- التدخل
- تدخل
- قضية
- IT
- العناصر
- وظيفة
- المشــاريــع
- جسون
- القفل
- نوع
- كبير
- على نطاق واسع
- آخر
- إطلاق
- تطلق
- طبقة
- تعلم
- يتيح
- مستوى
- القيود
- لينكس
- قائمة
- المدرج
- استماع
- تحميل
- محلي
- موقع
- آلة
- صنع
- الرئيسية
- أغلبية
- جعل
- يصنع
- إدارة
- إدارة
- مدير
- إدارة
- كتيب
- يدويا
- كثير
- ذات مغزى
- متوسط
- يجتمع
- القائمة
- طرق
- مایکروسافت
- مايكروسوفت ويندوز
- ربما
- الهجرة
- هجرة
- ML
- عارضات ازياء
- تقدم
- تحديث
- مراقبة
- الأكثر من ذلك
- أكثر
- خطوة
- MSI
- متعدد
- الاسم
- أسماء
- تسمية
- التنقل
- قائمة الإختيارات
- حاجة
- جديد
- التالي
- جدير بالذكر
- عدد
- موضوع
- الأجسام
- عروض
- ONE
- يفتح
- تعمل
- نظام التشغيل
- الأمثل
- أخرى
- وإلا
- صفقة
- خبز
- لوحة
- موازية
- شركاء
- مرت
- عاطفي
- كلمة المرور
- مسار
- قمة
- نفذ
- أداء
- ينفذ
- خطة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- البوينت
- ممكن
- منشور
- محتمل
- الممارسات
- قابل للتنبؤ
- تنبؤات
- الشروط
- قدم
- سابقا
- خاص
- الإجراءات
- عملية المعالجة
- الإنتــاج
- البرنامج
- التقدّم
- تنفيذ المشاريع
- مشروع ناجح
- تزود
- ويوفر
- وضع
- سؤال
- بسرعة
- نطاق
- أدرك
- نوصي
- ساندي خ. ميليك
- موصى به
- سجل
- أحمر
- يقلل
- عكست
- منطقة
- تسجيل جديد
- ذات صلة
- النشرات
- بقايا
- كرر
- يحل محل
- استبدال
- منسوخة
- تقرير
- التقارير
- يمثل
- طلبات
- تطلب
- مطلوب
- مرن
- الموارد
- مكافأة
- النوادي الثرية
- انقر بزر الماوس الأيمن
- النوع
- الأدوار
- صف
- القواعد
- يجري
- نفسه
- تحجيم
- حجم
- النطاقات
- التحجيم
- تفحص
- علوم
- العلماء
- مخطوطات
- بسلاسة
- ثواني
- القسم
- القطاع
- تأمين
- أمن
- اختيار
- حساس
- Serverless
- الخدمة
- خدماتنا
- طقم
- باكجات
- ضبط
- إعدادات
- عدة
- شاركت
- مشاركة
- ينبغي
- إظهار
- يظهر
- إشارة
- الاشارات
- عزباء
- المقاس
- لقطة
- So
- حل
- الحلول
- بعض
- مصدر
- متخصص
- سرعة
- الإنفاق
- انقسم
- رياضة
- SSL
- انطلاق
- بداية
- ابتداء
- يبدأ
- البيانات
- إحصائي
- إحصائيات
- الحالة
- خطوة
- خطوات
- قلة النوم
- تخزين
- متجر
- تخزين
- فروعنا
- تحقيق النجاح
- بنجاح
- هذه
- فائق
- مفاتيح
- نظام
- جدول
- أخذ
- يأخذ
- الهدف
- مهمة
- تقني
- تكنولوجيا
- محطة
- •
- المصدر
- من مشاركة
- طرف ثالث
- ثلاثة
- الوقت
- مرات
- إلى
- تسامح
- أداة
- أدوات
- تقليدي
- قطار
- تحول
- صحيح
- الثقة
- مع
- التي تقوم عليها
- فهم
- فريد من نوعه
- الأستعمال
- تستخدم
- مستخدم
- المستخدمين
- التحقق من صحة
- التحقق من صحة
- القيمة
- قيمنا
- القيم
- بائع
- الباعة
- تحقق من
- الإصدار
- المزيد
- الرؤى
- افتراضي
- تجول
- تحذير
- الويب
- ابحث عن
- التي
- في حين
- على نطاق أوسع
- سوف
- نوافذ
- في غضون
- بدون
- مجموعة العمل
- عامل
- أعمال
- محطة العمل
- سوف
- اكتب
- مكتوب
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت