این پست وبلاگ با Govind Mohan و Kausik Dhar از Cognizant نوشته شده است.
انتقال انبارهای داده در محل به فضای ابری دیگر به عنوان یک گزینه در نظر گرفته نمی شود، بلکه یک ضرورت برای شرکت ها برای صرفه جویی در هزینه ها و استفاده از آخرین فناوری های ارائه شده است. اگرچه ما شاهد تمرکز زیادی برای انتقال داده ها از انبارهای داده قدیمی به ابر و ابزارهای متعدد برای پشتیبانی از این ابتکار بوده ایم، داده ها تنها بخشی از سفر است. انتقال موفقیتآمیز فرآیندهای استخراج، تبدیل و بارگذاری قدیمی (ETL) که دادهها را جمعآوری، غنیسازی و تبدیل میکند، نقشی کلیدی در موفقیت هر گونه مهاجرت انبار داده انتها به انتها به ابر دارد.
رویکرد سنتی بازنویسی دستی تعداد زیادی از فرآیندهای ETL به فناوریهای بومی ابری مانند چسب AWS زمان بر است و می تواند مستعد خطاهای انسانی باشد. مجموعه ابزار اطلاعات و اطلاعات شناختی (CDIT) – ابزار تبدیل ETL این فرآیند را خودکار میکند، پیشبینیپذیری و دقت بیشتری را به ارمغان میآورد، ریسک مربوط به تبدیل دستی را حذف میکند و زمان سریعتری را برای عرضه به بازار برای مشتریان فراهم میکند.
شناختن است شریک خدمات ردیف برتر AWS با چندین صلاحیت AWS. Cognizant با رویکرد مشاوره ای مبتنی بر صنعت خود به مشتریان کمک می کند تا کسب و کارهای نوآورانه و کارآمدتری را تصور کنند، بسازند و اداره کنند.
در این پست، توضیح میدهیم که چگونه Cognizant's Data & Intelligence Toolkit (CDIT) - ETL Conversion Tool میتواند به شما کمک کند تا بهطور خودکار کد ETL قدیمی را به سرعت و به طور مؤثر به چسب AWS تبدیل کنید. ما همچنین مراحل اصلی، ویژگی های پشتیبانی شده و مزایای آنها را شرح می دهیم.
بررسی اجمالی راه حل
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool تبدیل خطوط لوله ETL و کد هماهنگی را از ابزارهای قدیمی به چسب AWS و توابع مرحله AWS و فرآیندهای دستی درگیر در سفر مهاجرت ابری ETL مشتری را حذف می کند.
این دارای یک رابط کاربری بصری (UI) است. شما می توانید با انتخاب منبع و ابزار ETL هدف برای تبدیل و سپس آپلود یک فایل XML از نقشه ETL برای تبدیل به عنوان ورودی از این شتاب دهنده ها استفاده کنید.
این ابزار همچنین از نظارت مستمر پیشرفت کلی پشتیبانی میکند و مکانیسمهای هشدار در صورت بروز هر گونه خرابی، خطا یا مشکلات عملیاتی وجود دارد.
Cognizant Data & Intelligence Toolkit (CDIT): ابزار تبدیل ETL به صورت داخلی از بسیاری از خدمات بومی AWS مانند سرویس ذخیره سازی ساده آمازون (Amazon S3) و سرویس پایگاه داده رابطه آمازون (Amazon RDS) برای ذخیره سازی و مدیریت ابرداده؛ ابر محاسبه الاستیک آمازون (Amazon EC2) و AWS لامبدا برای پردازش؛ CloudWatch آمازون, سرویس مدیریت کلید AWS (AWS KMS)، و مرکز هویت AWS IAM (جانشین AWS Single Sign-On) برای نظارت و امنیت؛ و AWS CloudFormation برای مدیریت زیرساخت نمودار زیر این معماری را نشان می دهد.
نحوه استفاده از CDIT: ابزار تبدیل ETL برای مهاجرت ETL.
Cognizant Data & Intelligence Toolkit (CDIT): ابزار تبدیل ETL از ابزارهای قدیمی ETL به عنوان منبع پشتیبانی می کند و از تولید اسکریپت های AWS Glue ETL در پایتون و اسکالا پشتیبانی می کند:
- انفورماتیک
- DataStage
- SSIS
- طلاند
بیایید مراحل مهاجرت را با جزئیات بیشتری بررسی کنیم.
فرآیند ETL قدیمی را ارزیابی کنید
Cognizant Data & Intelligence Toolkit (CDIT): ابزار تبدیل ETL شما را قادر می سازد تا درصد اتوماسیون بالقوه و پیچیدگی مجموعه ای از کارها و گردش های کاری ETL را به صورت انبوه ارزیابی کنید. گزینه ارزیابی به شما کمک می کند تا بفهمید که چه نوع صرفه جویی را می توان با استفاده از Cognizant Data & Intelligence Toolkit (CDIT): ابزار تبدیل ETL، پیچیدگی نگاشت های ETL، و میزان تبدیل دستی مورد نیاز، در صورت وجود، به دست آورد. همانطور که در شکل زیر نشان داده شده است، می توانید یک نگاشت ETL یا یک پوشه حاوی چندین نگاشت ETL را به عنوان ورودی برای ارزیابی آپلود کنید و یک گزارش ارزیابی ایجاد کنید.
کد ETL را به چسب AWS تبدیل کنید
برای تبدیل کد ETL قدیمی، فایل XML نقشه برداری ETL را به عنوان ورودی در ابزار آپلود می کنید. ورودیهای کاربر در مخزن ابرداده داخلی ابزار و Cognizant Data & Intelligence Toolkit (CDIT) ذخیره میشوند: ابزار تبدیل ETL این فایلهای ورودی XML را تجزیه میکند و آنها را به یک مدل متعارف ثبت شده تقسیم میکند، که سپس به چسب AWS هدف مهندسی میشود. اسکریپت ها در پایتون یا اسکالا. تصویر زیر نمونهای از بسته ابزار اطلاعات و اطلاعات شناختی (CDIT) را نشان میدهد: رابط کاربری گرافیکی ابزار تبدیل ETL و کنسول خروجی پنجره
اگر هر بخشی از کار ورودی ETL نمی تواند به طور کامل به اسکریپت AWS Glue معادل تبدیل شود، بین خطوط نظر در خروجی برچسب گذاری می شود تا بتوان به صورت دستی آن را برطرف کرد.
گردش کار را به توابع مرحله ای تبدیل کنید
گام منطقی بعدی پس از تبدیل مشاغل ETL قدیمی، هماهنگ کردن اجرای این مشاغل به ترتیب منطقی است. Cognizant Data & Intelligence Toolkit (CDIT): ابزار تبدیل ETL به شما امکان میدهد با تبدیل گردشهای کاری ETL درون محل به گردشهای کاری مربوط به توابع مرحله، تبدیل آنها را خودکار کنید. شکل زیر یک نمونه گردش کار ورودی Informatica را نشان می دهد.
تبدیل گردش کار از الگوی مشابه نقشه برداری ETL پیروی می کند. فایلهای XML برای گردشهای کاری ETL بهعنوان ورودی بارگذاری میشوند و جعبه ابزار اطلاعات و اطلاعات شناختی (CDIT): ابزار تبدیل ETL، فایل JSON توابع مرحله معادل را بر اساس دادههای فایل XML ورودی تولید میکند.
مزایای استفاده از ابزار اطلاعات و هوش شناختی (CDIT): ابزار تبدیل ETL
مزایای کلیدی استفاده از مجموعه ابزار اطلاعات و اطلاعات شناختی (CDIT): ابزار تبدیل ETL برای خودکارسازی تبدیل ETL قدیمی:
- کاهش هزینه - می توانید با خودکار کردن تبدیل ETL و گردش کار به AWS Glue و Step Functions، تلاش کلی مهاجرت را تا 80% کاهش دهید.
- برنامه ریزی و اجرای بهتر – میتوانید محدوده ETL را ارزیابی کنید و درصد اتوماسیون، پیچیدگی و الگوهای پشتیبانینشده را قبل از شروع پروژه تعیین کنید و در نتیجه تخمین و زمانبندی دقیقی به دست آورید.
- کمال – Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool یک راه حل با پشتیبانی از چندین ابزار قدیمی ETL مانند Informatica، DataStage، Talend و غیره ارائه می دهد.
- تجربه مشتری بهبود یافته - می توانید بدون خطاهای ناشی از تبدیل دستی و با درصد اتوماسیون بالا به اهداف مهاجرت به طور یکپارچه دست یابید.
مطالعه موردی: مجموعه ابزار اطلاعات و اطلاعات شناختی (CDIT): ابزار تبدیل ETL پیشنهادی برای پیاده سازی
یک شرکت بزرگ بیمه و مستمری مستقر در ایالات متحده می خواست فرآیند ETL قدیمی خود را در Informatica به عنوان بخشی از استراتژی مهاجرت ابری خود به AWS Glue منتقل کند.
به عنوان بخشی از این تعامل، Cognizant به مشتری کمک کرد تا با موفقیت کسب اطلاعات مبتنی بر Informatica و ادغام مشاغل و گردش کار ETL خود را به AWS منتقل کند. اثبات مفهوم (PoC) با استفاده از Cognizant Data & Intelligence Toolkit (CDIT): ابزار تبدیل ETL ابتدا برای نمایش و اعتبارسنجی قابلیتهای اتوماسیون تکمیل شد.
Cognizant Data & Intelligence Toolkit (CDIT): ابزار تبدیل ETL برای خودکارسازی تبدیل بیش از 300 نگاشت Informatica و گردش کار به کارهای معادل AWS Glue و Step Functions به ترتیب استفاده شد. در نتیجه، مشتری میتوانست تمام کدهای قدیمی ETL را طبق برنامهریزی به AWS منتقل کند و برنامه قدیمی را بازنشسته کند.
موارد زیر نکات مهم این تعامل است:
- مهاجرت بیش از 300 شغل قدیمی Informatica ETL به AWS Glue
- تبدیل خودکار بیش از 6,000 تبدیل از ETL قدیمی به چسب AWS
- 85٪ اتوماسیون با استفاده از CDIT: ETL Conversion Tool به دست آمد
- مشتری هزینه های صدور مجوز را پس انداز کرد و برنامه قدیمی خود را طبق برنامه بازنشسته کرد
نتیجه
در این پست، نحوه انتقال فرآیندهای ETL قدیمی به ابر برای موفقیت سفر مهاجرت ابری بسیار مهم است. مجموعه ابزار اطلاعات و اطلاعات شناختی (CDIT): ابزار تبدیل ETL شما را قادر می سازد تا ارزیابی فرآیند ETL موجود را انجام دهید تا پیچیدگی و درصد اتوماسیون را برای برآورد و برنامه ریزی بهتر بدست آورید. همچنین درباره فناوریهای ETL پشتیبانی شده توسط Cognizant Data & Intelligence Toolkit (CDIT): ابزار تبدیل ETL و نحوه تبدیل مشاغل ETL به اسکریپتهای چسب AWS مربوطه بحث کردیم. در نهایت، ما نشان دادیم که چگونه از گردشهای کاری موجود ETL برای تولید خودکار کارهای ارکستراسیون توابع مرحله مربوطه استفاده کنیم.
برای کسب اطلاعات بیشتر، لطفا با Cognizant تماس بگیرید.
درباره نویسنده
دیپاک سینگ یک معمار ارشد راه حل در خدمات وب آمازون با بیش از 20 سال تجربه در زمینه داده و AIA است. او از همکاری با شرکا و مشتریان AWS در ساخت راه حل های تحلیلی مقیاس پذیر برای نتایج کسب و کارشان لذت می برد. وقتی سر کار نیست، دوست دارد وقت خود را با خانواده بگذراند یا فناوری های جدید را در حوزه تحلیل و هوش مصنوعی کاوش کند.
پیوش پاترا یک معمار راه حل های شریک در خدمات وب آمازون است که در آن از شرکا در سفرهای تجزیه و تحلیل آنها پشتیبانی می کند و رهبر جهانی برای برنامه های شریک استراتژیک مدرنیزاسیون و مهاجرت داده ها است.
گویند موهان معاون مدیر Cognizant با بیش از 18 سال تجربه در زمینه داده و فضای تجزیه و تحلیل است، او به طراحی و پیاده سازی چندین پروژه انتقال داده در مقیاس بزرگ، ارتقاء و تغییر برنامه ها و پروژه های نوسازی قدیمی کمک کرده است و از نزدیک با مشتریان در تسریع سفر مدرن سازی ابر همکاری می کند. استفاده از پلتفرم Cognizant Data and Intelligence Toolkit (CDIT).
کاوسیک دار یک رهبر فناوری با بیش از 23 سال تجربه در فناوری اطلاعات است - عمدتاً بر روی داده ها و تجزیه و تحلیل ها، نوسازی داده ها، توسعه برنامه ها، مدیریت تحویل، و معماری راه حل متمرکز شده است. او نقش محوری در هدایت مشتریان از طریق طراحی و اجرای دادهها و مهاجرتهای فرآیند در مقیاس بزرگ، علاوه بر پیشروی اجرای موفق ابر، ایفا کرده است. Kausik دارای تخصص در فرموله کردن استراتژی های مهاجرت برای برنامه های پیچیده و ساخت ماهرانه معماری دریاچه / Lakehouse داده با استفاده از طیف گسترده ای از ابزارها و فن آوری ها است.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- : دارد
- :است
- :نه
- :جایی که
- 000
- 100
- 220
- 23
- 300
- a
- قادر
- تسریع
- شتاب دهنده ها
- دقت
- دقیق
- رسیدن
- دست
- به دست آوردن
- اکتساب
- اضافه
- مزیت - فایده - سود - منفعت
- پس از
- AI
- AIA
- معرفی
- همچنین
- هر چند
- آمازون
- آمازون EC2
- آمازون RDS
- آمازون خدمات وب
- an
- تحلیلی
- علم تجزیه و تحلیل
- و
- هر
- کاربرد
- برنامه توسعه
- روش
- معماری
- هستند
- صف
- AS
- ارزیابی کنید
- ارزیابی
- وابسته
- مرتبط است
- At
- خودکار بودن
- خودکار می کند
- بطور خودکار
- اتوماسیون
- اتوماسیون
- AWS
- چسب AWS
- مستقر
- BE
- قبل از
- مزایای
- بهتر
- میان
- بلاگ
- هر دو
- می شکند
- آوردن
- ساختن
- بنا
- کسب و کار
- کسب و کار
- اما
- by
- CAN
- قابلیت های
- ایجاد می شود
- مشتریان
- نزدیک
- ابر
- رمز
- دانا
- می آید
- توضیح
- شرکت
- شرکت
- تکمیل شده
- به طور کامل
- پیچیده
- پیچیدگی
- محاسبه
- مفهوم
- کنسول
- ساخت
- مداوم
- تبدیل
- تبدیل
- مبدل
- تبدیل
- متناظر
- هزینه
- بحرانی
- مشتری
- مشتریان
- داده ها
- انبار داده
- انبارهای داده
- پایگاه داده
- تحویل
- نشان
- توصیف
- طرح
- طراحی
- جزئیات
- مشخص کردن
- پروژه
- مدیر
- بحث کردیم
- پایین
- به طور موثر
- موثر
- تلاش
- حذف می شود
- از بین بردن
- استخدام
- را قادر می سازد
- پشت سر هم
- نامزدی
- مهندسی
- غنی سازی
- تجسم
- معادل
- خطا
- خطاهای
- املاک
- اتر (ETH)
- واقعه
- مثال
- اجرا کردن
- موجود
- تجربه
- تخصص
- بررسی
- حد
- عصاره
- خانواده
- سریعتر
- امکانات
- هزینه
- شکل
- پرونده
- فایل ها
- نام خانوادگی
- ثابت
- تمرکز
- متمرکز شده است
- پیروی
- به دنبال آن است
- برای
- فرمول بندی
- به جلو
- از جانب
- توابع
- تولید می کنند
- تولید می کند
- مولد
- جهانی
- اهداف
- آیا
- داشتن
- he
- کمک
- کمک کرد
- کمک می کند
- زیاد
- های لایت
- چگونه
- چگونه
- HTTP
- HTTPS
- انسان
- IAM
- هویت
- if
- نشان می دهد
- انجام
- پیاده سازی
- پیاده سازی ها
- in
- شالوده
- ابتکار عمل
- ابتکاری
- ورودی
- ورودی
- بیمه
- ادغام
- اطلاعات
- رابط
- داخلی
- داخلی
- به
- حسی
- گرفتار
- مسائل
- IT
- ITS
- کار
- شغل ها
- سفر
- سفرها
- JPG
- json
- کلید
- نوع
- بزرگ
- در مقیاس بزرگ
- در آخر
- آخرین
- رهبری
- رهبر
- یاد گرفتن
- میراث
- اجازه می دهد تا
- بهره برداری
- صدور مجوز
- پسندیدن
- خطوط
- بار
- منطقی
- دیگر
- نگاه کنيد
- خیلی
- دوست دارد
- اصلی
- مدیریت
- کتابچه راهنمای
- دستی
- بسیاری
- نقشه برداری
- بازار
- مکانیسم
- متاداده
- مهاجرت
- مهاجرت
- مهاجرت
- مدل
- نوسازی
- نظارت بر
- بیش
- بسیار
- چندگانه
- بومی
- ضرورت
- ضروری
- جدید
- فناوری های نوین
- بعد
- نه
- عدد
- of
- ارائه
- پیشنهادات
- on
- ONE
- فقط
- قابل استفاده
- گزینه
- or
- تنظیم و ارکستراسیون
- سفارش
- خارج
- نتایج
- تولید
- روی
- به طور کلی
- بخش
- شریک
- شرکای
- ثبت اختراع
- الگو
- الگوهای
- درصد
- انجام دادن
- محوری
- محل
- برنامه ریزی
- برنامه ریزی
- سکو
- افلاطون
- هوش داده افلاطون
- PlatoData
- بازی
- نقش
- لطفا
- پوک
- پست
- پتانسیل
- نخست وزیر
- در درجه اول
- روند
- فرآیندهای
- در حال پردازش
- برنامه ها
- پیشرفت
- پروژه
- پروژه ها
- اثبات
- اثبات مفهوم
- پیشنهاد شده
- ارائه
- پــایتــون
- به سرعت
- رسیدن به
- كاهش دادن
- گزارش
- مخزن
- به ترتیب
- نتیجه
- نتیجه
- بازنویسی
- خطر
- نقش
- دویدن
- ذخیره
- نگهداری می شود
- صرفه جویی کردن
- اسکالا
- مقیاس پذیر
- حوزه
- خط
- اسکریپت
- یکپارچه
- تیم امنیت لاتاری
- مشاهده گردید
- انتخاب
- ارشد
- خدمات
- تنظیم
- چند
- تغییر
- نمایشگاه
- نشان داده شده
- نشان می دهد
- مشابه
- ساده
- تنها
- So
- راه حل
- مزایا
- منبع
- فضا
- رهبری
- هزینه
- شروع
- گام
- مراحل
- ذخیره سازی
- ذخیره شده
- استراتژیک
- استراتژی ها
- استراتژی
- مهاجرت تحصیلی
- موفقیت
- موفق
- موفقیت
- چنین
- پشتیبانی
- پشتیبانی
- پشتیبانی از
- گرفتن
- هدف
- فن آوری
- پیشرفته
- نسبت به
- که
- La
- منبع
- شان
- آنها
- سپس
- اینها
- این
- از طریق
- ردیف
- زمان
- به
- ابزار
- ابزار
- ابزار
- نسبت به
- سنتی
- دگرگون کردن
- تحولات
- ui
- فهمیدن
- آپلود شده
- آپلود
- استفاده کنید
- استفاده
- کاربر
- رابط کاربری
- استفاده
- با استفاده از
- تصدیق
- مشاهده شده
- خواسته
- انبار کالا
- بود
- we
- وب
- خدمات وب
- چی
- چه زمانی
- که
- وسیع
- با
- بدون
- مهاجرت کاری
- گردش کار
- گردش کار
- کارگر
- با این نسخهها کار
- XML
- سال
- سال
- شما
- زفیرنت