تمت كتابة منشور المدونة هذا بالاشتراك مع جوفيند موهان وكوسيك دهار من شركة Cognizant.
لم يعد يُنظر إلى ترحيل مستودعات البيانات المحلية إلى السحابة كخيار، بل ضرورة للشركات لتوفير التكلفة والاستفادة من أحدث التقنيات. على الرغم من أننا شهدنا الكثير من التركيز على ترحيل البيانات من مستودعات البيانات القديمة إلى السحابة وأدوات متعددة لدعم هذه المبادرة، إلا أن البيانات ليست سوى جزء من الرحلة. يلعب الترحيل الناجح لعمليات الاستخراج والتحويل والتحميل القديمة (ETL) التي تحصل على البيانات وإثرائها وتحويلها دورًا رئيسيًا في نجاح أي ترحيل لمستودع بيانات شامل إلى السحابة.
النهج التقليدي لإعادة كتابة عدد كبير من عمليات ETL يدويًا للتقنيات السحابية الأصلية مثل غراء AWS يستغرق وقتا طويلا ويمكن أن يكون عرضة للخطأ البشري. مجموعة أدوات الذكاء والبيانات المعرفية (CDIT) - تعمل أداة تحويل ETL على أتمتة هذه العملية، مما يوفر المزيد من القدرة على التنبؤ والدقة، ويزيل المخاطر المرتبطة بالتحويل اليدوي، ويوفر وقتًا أسرع للتسويق للعملاء.
تدرك هو شريك خدمات الطبقة الأولى من AWS مع العديد من كفاءات AWS. من خلال نهجها الاستشاري القائم على الصناعة، تساعد Cognizant العملاء على تصور وبناء وإدارة أعمال أكثر ابتكارًا وكفاءة.
في هذا المنشور، نصف كيف يمكن أن تساعدك مجموعة أدوات البيانات والذكاء (CDIT) - أداة تحويل ETL من Cognizant على تحويل كود ETL القديم تلقائيًا إلى AWS Glue بسرعة وفعالية. كما نقوم أيضًا بوصف الخطوات الرئيسية المتضمنة والميزات المدعومة وفوائدها.
حل نظرة عامة
مجموعة أدوات الذكاء والبيانات المعرفية (CDIT): تعمل أداة تحويل ETL على أتمتة تحويل خطوط أنابيب ETL وتعليمات التنسيق من الأدوات القديمة إلى AWS Glue و وظائف خطوة AWS ويزيل العمليات اليدوية المتضمنة في رحلة ترحيل ETL السحابية للعميل.
لأنه يأتي مع واجهة مستخدم بديهية (UI). يمكنك استخدام هذه المسرعات عن طريق تحديد أداة ETL المصدر والهدف للتحويل ثم تحميل ملف XML لتعيين ETL ليتم تحويله كمدخل.
وتدعم الأداة أيضًا المراقبة المستمرة للتقدم العام، كما توجد آليات تنبيه في حالة حدوث أي فشل أو أخطاء أو مشكلات تشغيلية.
مجموعة أدوات الذكاء والبيانات المعرفية (CDIT): تستخدم أداة تحويل ETL داخليًا العديد من خدمات AWS الأصلية، مثل خدمة تخزين أمازون البسيطة (Amazon S3) و خدمة قاعدة بيانات الأمازون (Amazon RDS) للتخزين وإدارة البيانات الوصفية؛ الأمازون الحوسبة المرنة السحابية (Amazon EC2) و AWS لامدا للمعالجة الأمازون CloudWatch, خدمة إدارة مفتاح AWS (AWS KMS)، و مركز هوية AWS IAM (خليفة AWS Single Sign-On) للمراقبة والأمان؛ و تكوين سحابة AWS لإدارة البنية التحتية. ويوضح الرسم البياني التالي هذه البنية.
كيفية استخدام CDIT: أداة تحويل ETL لترحيل ETL.
مجموعة أدوات الذكاء والبيانات المعرفية (CDIT): تدعم أداة تحويل ETL أدوات ETL القديمة التالية كمصدر وتدعم إنشاء نصوص AWS Glue ETL المقابلة في كل من Python وScala:
- المعلوماتيّة
- DataStage
- مباحث أمن الدولة
- Talend
دعونا نلقي نظرة على خطوات الترحيل بمزيد من التفصيل.
تقييم عملية ETL القديمة
مجموعة أدوات الذكاء والبيانات المعرفية (CDIT): تتيح لك أداة تحويل ETL إجراء تقييم مجمّع لنسبة الأتمتة المحتملة وتعقيد مجموعة من وظائف ETL وسير العمل التي تقع في نطاق الترحيل إلى AWS Glue. يساعدك خيار التقييم على فهم نوع التوفير الذي يمكن تحقيقه باستخدام مجموعة أدوات الذكاء والبيانات المعرفية (CDIT): أداة تحويل ETL، وتعقيد تعيينات ETL، ومدى التحويل اليدوي المطلوب، إن وجد. يمكنك تحميل تعيين ETL واحد أو مجلد يحتوي على تعيينات ETL متعددة كمدخل للتقييم وإنشاء تقرير تقييم، كما هو موضح في الشكل التالي.
قم بتحويل رمز ETL إلى AWS Glue
لتحويل كود ETL القديم، يمكنك تحميل ملف XML الخاص بتعيين ETL كمدخل للأداة. يتم تخزين مدخلات المستخدم في مستودع البيانات التعريفية الداخلي للأداة ومجموعة أدوات الذكاء والبيانات المعرفية (CDIT): تقوم أداة تحويل ETL بتوزيع ملفات إدخال XML هذه وتقسيمها إلى نموذج أساسي حاصل على براءة اختراع، والذي يتم بعد ذلك إعادة توجيهه إلى AWS Glue الهدف البرامج النصية في بيثون أو سكالا. تعرض لقطة الشاشة التالية مثالاً لمجموعة أدوات الاستخبارات والبيانات المعرفية (CDIT): واجهة المستخدم الرسومية لأداة تحويل ETL و وحدة تحكم الإخراج الجزء.
إذا تعذر تحويل أي جزء من مهمة ETL المدخلة بالكامل إلى نص AWS Glue المكافئ، فسيتم وضع علامة عليه بين أسطر التعليق في المخرجات بحيث يمكن إصلاحه يدويًا.
تحويل سير العمل إلى وظائف الخطوة
الخطوة المنطقية التالية بعد تحويل وظائف ETL القديمة هي تنسيق تشغيل هذه المهام بالترتيب المنطقي. مجموعة أدوات الذكاء والبيانات المعرفية (CDIT): تتيح لك أداة تحويل ETL أتمتة تحويل مسارات عمل ETL المحلية عن طريق تحويلها إلى مسارات عمل وظائف الخطوة المقابلة. يوضح الشكل التالي نموذجًا لسير عمل Informatica.
يتبع تحويل سير العمل النمط المماثل لنمط تعيين ETL. يتم تحميل ملفات XML لسير عمل ETL كمدخلات ومجموعة أدوات الذكاء والبيانات المعرفية (CDIT): أداة تحويل ETL تقوم بإنشاء ملف Step Functions JSON المكافئ استنادًا إلى بيانات ملف XML المدخلة.
فوائد استخدام مجموعة أدوات الذكاء والبيانات المعرفية (CDIT): أداة تحويل ETL
فيما يلي الفوائد الرئيسية لاستخدام مجموعة أدوات الذكاء والبيانات Cognizant (CDIT): أداة تحويل ETL لأتمتة تحويل ETL القديم:
- تقليل التكاليف - يمكنك تقليل مجهود الترحيل الإجمالي بنسبة تصل إلى 80% عن طريق أتمتة تحويل ETL ومسارات العمل إلى AWS Glue وStep Functions
- تخطيط وتنفيذ أفضل – يمكنك تقييم نطاق ETL وتحديد نسبة الأتمتة والتعقيد والأنماط غير المدعومة قبل بدء المشروع، مما يؤدي إلى تقدير دقيق وجداول زمنية
- كمال - مجموعة أدوات الذكاء والبيانات المعرفية (CDIT): توفر أداة تحويل ETL حلاً واحدًا مع دعم لأدوات ETL القديمة المتعددة مثل Informatica وDataStage وTalend والمزيد.
- تحسين تجربة العملاء – يمكنك تحقيق أهداف الترحيل بسلاسة دون أخطاء ناتجة عن التحويل اليدوي وبنسبة أتمتة عالية
دراسة حالة: مجموعة أدوات الذكاء والبيانات المعرفية (CDIT): التنفيذ المقترح لأداة تحويل ETL
أرادت شركة تأمين ومعاشات سنوية كبيرة مقرها الولايات المتحدة ترحيل عملية ETL القديمة الخاصة بها في Informatica إلى AWS Glue كجزء من إستراتيجية الترحيل السحابي الخاصة بها.
وكجزء من هذه المشاركة، ساعدت Cognizant العميل في ترحيل الحصول على البيانات المستندة إلى Informatica وتكامل وظائف ETL وسير العمل إلى AWS. إثبات المفهوم (PoC) باستخدام مجموعة أدوات الذكاء والبيانات المعرفية (CDIT): تم إكمال أداة تحويل ETL أولاً لعرض قدرات الأتمتة والتحقق من صحتها.
مجموعة أدوات الذكاء والبيانات المعرفية (CDIT): تم استخدام أداة تحويل ETL لأتمتة تحويل أكثر من 300 من تعيينات Informatica وسير العمل إلى مهام AWS Glue وسير عمل Step Functions المكافئة، على التوالي. ونتيجة لذلك، تمكن العميل من ترحيل جميع تعليمات ETL البرمجية القديمة إلى AWS كما هو مخطط له وإيقاف التطبيق القديم.
وفيما يلي النقاط الرئيسية من هذه المشاركة:
- ترحيل أكثر من 300 وظيفة قديمة من Informatica ETL إلى AWS Glue
- التحويل الآلي لأكثر من 6,000 تحويل من ETL القديم إلى AWS Glue
- تم تحقيق التشغيل الآلي بنسبة 85% باستخدام CDIT: أداة تحويل ETL
- وفر العميل رسوم الترخيص وأوقف تطبيقه القديم كما هو مخطط له
وفي الختام
في هذا المنشور، ناقشنا مدى أهمية ترحيل عمليات ETL القديمة إلى السحابة لنجاح رحلة الترحيل السحابي. مجموعة أدوات الذكاء والبيانات المعرفية (CDIT): تمكنك أداة تحويل ETL من إجراء تقييم لعملية ETL الحالية لاشتقاق نسبة التعقيد والأتمتة للحصول على تقدير وتخطيط أفضل. ناقشنا أيضًا تقنيات ETL التي تدعمها مجموعة أدوات Cognizant Data & Intelligence (CDIT): أداة تحويل ETL وكيف يمكن تحويل وظائف ETL إلى نصوص AWS Glue النصية المقابلة. وأخيرًا، أوضحنا كيفية استخدام مسارات عمل ETL الحالية لإنشاء وظائف تنسيق Step Functions المقابلة تلقائيًا.
لمعرفة المزيد، يرجى التواصل مع Cognizant.
حول المؤلف
ديباك سينغ هو مهندس حلول أول في Amazon Web Services ويتمتع بخبرة تزيد عن 20 عامًا في مجال البيانات وAIA. وهو يستمتع بالعمل مع شركاء وعملاء AWS على بناء حلول تحليلية قابلة للتطوير لنتائج أعمالهم. عندما لا يكون في العمل، يحب قضاء الوقت مع العائلة أو استكشاف تقنيات جديدة في التحليلات ومجال الذكاء الاصطناعي.
بيوش باترا هو مهندس حلول الشركاء في Amazon Web Services حيث يدعم الشركاء في رحلات التحليلات الخاصة بهم وهو الرائد العالمي لبرامج الشركاء الاستراتيجية لتحديث عقارات البيانات وترحيلها.
جوفيند موهان هو مدير مشارك في Cognizant ويتمتع بخبرة تزيد عن 18 عامًا في مجال البيانات والتحليلات، وقد ساعد في تصميم وتنفيذ العديد من مشاريع ترحيل البيانات واسعة النطاق، ورفع التطبيقات وتحويلها، ومشاريع التحديث القديمة، ويعمل بشكل وثيق مع العملاء في تسريع رحلة تحديث السحابة الاستفادة من منصة مجموعة أدوات البيانات والذكاء (CDIT).
كوسيك ذر هي شركة رائدة في مجال التكنولوجيا تتمتع بخبرة تزيد عن 23 عامًا في مجال تكنولوجيا المعلومات - تركز بشكل أساسي على البيانات والتحليلات وتحديث البيانات وتطوير التطبيقات وإدارة التسليم وهندسة الحلول. لقد لعب دورًا محوريًا في توجيه العملاء من خلال تصميم وتنفيذ عمليات ترحيل البيانات والعمليات واسعة النطاق، بالإضافة إلى قيادة عمليات التنفيذ السحابية الناجحة. يتمتع Kausik بالخبرة في صياغة استراتيجيات الترحيل للبرامج المعقدة وبناء بنية بحيرة البيانات/Lakehouse ببراعة باستخدام مجموعة واسعة من الأدوات والتقنيات.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- :لديها
- :يكون
- :ليس
- :أين
- 000
- 100
- 220
- 23
- 300
- a
- ماهرون
- تسريع
- المعجلات
- دقة
- دقيق
- التأهيل
- تحقق
- كسب
- استحواذ
- إضافة
- مميزات
- بعد
- AI
- AIA
- الكل
- أيضا
- بالرغم ان
- أمازون
- Amazon EC2
- أمازون RDS
- أمازون ويب سيرفيسز
- an
- تحليلية
- تحليلات
- و
- أي وقت
- تطبيق
- تطوير التطبيقات
- نهج
- هندسة معمارية
- هي
- مجموعة
- AS
- تقييم
- التقييم المناسبين
- محام
- أسوشيتد
- At
- أتمتة
- الأتمتة
- تلقائيا
- أتمتة
- أتمتة
- AWS
- غراء AWS
- على أساس
- BE
- قبل
- الفوائد
- أفضل
- ما بين
- المدونة
- على حد سواء
- فواصل
- وبذلك
- نساعدك في بناء
- ابني
- الأعمال
- الأعمال
- لكن
- by
- CAN
- قدرات
- تسبب
- عميل
- عن كثب
- سحابة
- الكود
- تدرك
- يأتي
- التعليق
- الشركات
- حول الشركة
- الطلب مكتمل
- تماما
- مجمع
- تعقيد
- إحصاء
- مفهوم
- كنسولات
- بناء
- متواصل
- تحويل
- تحول
- تحويلها
- التحول
- المقابلة
- التكلفة
- حرج
- زبون
- العملاء
- البيانات
- مستودع البيانات
- مستودعات البيانات
- قاعدة البيانات
- التوصيل
- تظاهر
- وصف
- تصميم
- تصميم
- التفاصيل
- حدد
- التطوير التجاري
- مدير المدارس
- ناقش
- إلى أسفل
- على نحو فعال
- فعال
- جهد
- يقضي على
- القضاء
- توظيف
- تمكن
- النهائي إلى نهاية
- اشتباك
- مهندسة
- إثراء
- تصور
- معادل
- خطأ
- أخطاء
- عزبة
- الأثير (ETH)
- الحدث/الفعالية
- مثال
- تنفيذ
- القائمة
- الخبره في مجال الغطس
- خبرة
- استكشاف
- مدى
- استخراج
- للعائلات
- أسرع
- المميزات
- الرسوم الدراسية
- الشكل
- قم بتقديم
- ملفات
- الاسم الأول
- ثابت
- تركز
- ركز
- متابعيك
- متابعات
- في حالة
- صياغة
- إلى الأمام
- تبدأ من
- وظائف
- توليد
- يولد
- توليد
- العالمية
- الأهداف
- يملك
- وجود
- he
- مساعدة
- ساعد
- يساعد
- مرتفع
- ويبرز
- كيفية
- كيفية
- HTTP
- HTTPS
- الانسان
- IAM
- هوية
- if
- يوضح
- تنفيذ
- التنفيذ
- تطبيقات
- in
- البنية التحتية
- مبادرة
- مبتكرة
- إدخال
- المدخلات
- التأمين
- التكامل
- رؤيتنا
- السطح البيني
- داخلي
- داخليا
- إلى
- حدسي
- المشاركة
- مسائل
- IT
- انها
- وظيفة
- المشــاريــع
- رحلة
- الرحلات
- JPG
- جسون
- القفل
- نوع
- كبير
- على نطاق واسع
- أخيرا
- آخر
- قيادة
- زعيم
- تعلم
- إرث
- يتيح
- الاستفادة من
- الترخيص
- مثل
- خطوط
- تحميل
- منطقي
- يعد
- بحث
- الكثير
- يحب
- الرئيسية
- إدارة
- كتيب
- يدويا
- كثير
- رسم الخرائط
- تجارة
- آليات
- البيانات الوصفية
- الهجرة
- المهاجرة
- هجرة
- نموذج
- تحديث
- مراقبة
- الأكثر من ذلك
- كثيرا
- متعدد
- محلي
- ضرورة
- بحاجة
- جديد
- التكنولوجيات الجديدة
- التالي
- لا
- عدد
- of
- عرض
- عروض
- on
- ONE
- فقط
- تشغيل
- خيار
- or
- تزامن
- طلب
- خارج
- النتائج
- الناتج
- على مدى
- الكلي
- جزء
- الشريكة
- شركاء
- براءة اختراع
- نمط
- أنماط
- نسبة مئوية
- نفذ
- محوري
- المكان
- مخطط
- تخطيط
- المنصة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- لعبت
- يلعب
- من فضلك
- اضغط لتتحدث
- منشور
- محتمل
- رئيس الوزراء
- في المقام الأول
- عملية المعالجة
- العمليات
- معالجة
- البرامج
- التقدّم
- تنفيذ المشاريع
- مشروع ناجح
- دليل
- دليل على المفهوم
- المقترح
- توفير
- بايثون
- بسرعة
- الوصول
- تخفيض
- تقرير
- مستودع
- على التوالي
- نتيجة
- مما أدى
- إعادة كتابة
- المخاطرة
- النوع
- يجري
- حفظ
- تم الحفظ
- إنقاذ
- سكالا
- تحجيم
- نطاق
- سيناريو
- مخطوطات
- بسلاسة
- أمن
- رأيت
- اختيار
- كبير
- خدماتنا
- طقم
- عدة
- نقل
- عرض
- أظهرت
- يظهر
- مماثل
- الاشارات
- عزباء
- So
- حل
- الحلول
- مصدر
- الفضاء
- قيادة
- الإنفاق
- بداية
- خطوة
- خطوات
- تخزين
- تخزين
- إستراتيجي
- استراتيجيات
- الإستراتيجيات
- دراسة
- تحقيق النجاح
- ناجح
- بنجاح
- هذه
- الدعم
- مدعومة
- الدعم
- أخذ
- الهدف
- التكنولوجيا
- تكنولوجيا
- من
- أن
- •
- المصدر
- من مشاركة
- منهم
- then
- تشبه
- عبر
- صف
- الوقت
- إلى
- أداة
- أدوات
- أدوات
- نحو
- تقليدي
- تحول
- التحولات
- ui
- فهم
- تم التحميل
- تحميل
- تستخدم
- مستعمل
- مستخدم
- واجهة المستخدم
- يستخدم
- استخدام
- التحقق من صحة
- شاهدوا
- مطلوب
- المخزن
- وكان
- we
- الويب
- خدمات ويب
- ابحث عن
- متى
- التي
- واسع
- مع
- بدون
- للعمل
- سير العمل
- سير العمل
- عامل
- أعمال
- XML
- عام
- سنوات
- لصحتك!
- زفيرنت