פוסט זה בבלוג נכתב בשיתוף עם גובינד מוהן וקאוסיק דהר מ-Cognizant.
העברת מחסני נתונים מקומיים לענן כבר לא נתפסת כאופציה אלא הכרח של חברות לחסוך בעלויות ולנצל את מה שיש לטכנולוגיה העדכנית ביותר להציע. למרות שראינו התמקדות רבה בהעברת נתונים ממחסני נתונים מדור קודם לענן וכלים מרובים לתמיכה ביוזמה זו, נתונים הם רק חלק מהמסע. העברה מוצלחת של תהליכי חילוץ, טרנספורמציה וטעינה מדור קודם (ETL) הרוכשים, מעשירים ומשנים את הנתונים ממלאת תפקיד מפתח בהצלחת כל הגירה מקצה לקצה של מחסני נתונים לענן.
הגישה המסורתית של שכתוב ידני של מספר רב של תהליכי ETL לטכנולוגיות מקוריות בענן כמו דבק AWS לוקח זמן ויכול להיות מועד לטעות אנוש. Cognizant Data & Intelligence Toolkit (CDIT) - כלי המרת ETL ממכן תהליך זה, מביא לניבוי ודיוק רב יותר, מבטל את הסיכון הקשור בהמרה ידנית ומספק זמן מהיר יותר לשוק ללקוחות.
מודעת הוא שותף שירותי AWS Premier Tier עם כמה מיומנויות AWS. עם הגישה המייעצת מבוססת התעשייה שלה, Cognizant עוזרת ללקוחות לחזות, לבנות ולנהל עסקים חדשניים ויעילים יותר.
בפוסט זה, אנו מתארים כיצד ערכת הכלים של Data & Intelligence (CDIT)- ETL Conversion Tool של Cognizant יכולה לעזור לך להמיר אוטומטית קוד ETL מדור קודם ל-AWS Glue במהירות וביעילות. אנו גם מתארים את השלבים העיקריים המעורבים, התכונות הנתמכות והיתרונות שלהן.
סקירת פתרונות
Cognizant Data & Intelligence Toolkit (CDIT): כלי המרת ETL הופך את ההמרה לאוטומטית של צינורות ETL וקוד תזמור מכלים מדור קודם ל-AWS Glue ו פונקציות שלב AWS ומבטל את התהליכים הידניים הכרוכים במסע המעבר בענן ETL של לקוח.
זה מגיע עם ממשק משתמש אינטואיטיבי (UI). אתה יכול להשתמש במאיצים אלה על ידי בחירת כלי המקור והיעד ETL להמרה ולאחר מכן העלאת קובץ XML של מיפוי ה-ETL שיומר כקלט.
הכלי תומך גם במעקב רציף אחר ההתקדמות הכוללת, ומנגנוני התראה קיימים בכל מקרה של כשלים, שגיאות או בעיות תפעוליות.
Cognizant Data & Intelligence Toolkit (CDIT): כלי המרות ETL משתמש באופן פנימי בשירותי AWS מקוריים רבים, כגון שירות אחסון פשוט של אמזון (אמזון S3) ו- שירות מסדי נתונים יחסי של אמזון (Amazon RDS) לניהול אחסון ומטא נתונים; ענן מחשוב אלסטי של אמזון (אמזון EC2) ו- AWS למבדה לעיבוד; אמזון CloudWatch, שירות ניהול מפתח AWS (AWS KMS), ו AWS IAM Identity Center (יורש של AWS Single Sign-On) לניטור ואבטחה; ו AWS CloudFormation לניהול תשתיות. התרשים הבא ממחיש ארכיטקטורה זו.
כיצד להשתמש ב-CDIT: כלי המרת ETL להעברת ETL.
ערכת הכלים של Cognizant Data & Intelligence (CDIT): כלי המרת ETL תומך בכלי ה-ETL הישנים הבאים כמקור ותומך ביצירת סקריפטים מתאימים של AWS Glue ETL ב- Python וגם ב-Scala:
- אינפורמטיקה
- DataStage
- SSIS
- כישרון
בואו נסתכל על שלבי ההגירה בפירוט רב יותר.
הערכת תהליך ETL מדור קודם
Cognizant Data & Intelligence Toolkit (CDIT): כלי המרת ETL מאפשר לך להעריך בכמות גדולה את אחוז האוטומציה והמורכבות הפוטנציאליים של קבוצה של משרות וזרימות עבודה של ETL שנמצאות בטווח מעבר ל-AWS Glue. אפשרות ההערכה עוזרת לך להבין איזה סוג של חיסכון ניתן להשיג באמצעות ערכת הכלים של Cognizant Data & Intelligence (CDIT): כלי המרת ETL, המורכבות של מיפוי ה-ETL ומידת ההמרה הידנית הדרושה, אם בכלל. אתה יכול להעלות מיפוי ETL בודד או תיקיה המכילה מיפוי ETL מרובים כקלט להערכה ולהפיק דוח הערכה, כפי שמוצג באיור הבא.
המר את קוד ה-ETL ל-AWS Glue
כדי להמיר קוד ETL מדור קודם, אתה מעלה את קובץ ה-XML של מיפוי ה-ETL כקלט לכלי. כניסות המשתמש מאוחסנות במאגר המטא-נתונים הפנימי של הכלי וב-Cognizant Data & Intelligence Toolkit (CDIT): כלי ההמרה של ETL מנתח את קבצי הקלט ה-XML הללו ומפרק אותם למודל קנוני מוגן בפטנט, אשר לאחר מכן מתוכנן קדימה לתוך דבק היעד של AWS סקריפטים ב- Python או Scala. צילום המסך הבא מציג דוגמה של ערכת הכלים Cognizant Data & Intelligence (CDIT): ETL Conversion Tool GUI ו מסוף פלט שִׁמשָׁה.
אם חלק כלשהו של משימת ה-ETL הקלט לא ניתן היה להמיר לחלוטין לסקריפט המקביל של AWS Glue, הוא מתויג בין שורות הערה בפלט כך שניתן לתקן אותו באופן ידני.
המר את זרימת העבודה ל- Step Functions
השלב ההגיוני הבא לאחר המרת עבודות ה-ETL מדור קודם הוא לארגן את הריצה של המשימות הללו בסדר ההגיוני. Cognizant Data & Intelligence Toolkit (CDIT): כלי המרת ETL מאפשר לך להפוך את ההמרה לאוטומטית של זרימות עבודה של ETL מקומיות על ידי המרתן לזרימות עבודה מקבילות של Step Functions. האיור הבא ממחיש זרימת עבודה לדוגמה של קלט של Informatica.
המרת זרימת העבודה עוקבת אחר הדפוס הדומה לזה של מיפוי ה-ETL. קבצי XML עבור זרימות עבודה של ETL מועלים כקלט ו-Cognizant Data & Intelligence Toolkit (CDIT): כלי המרה של ETL הוא יוצר את קובץ ה-Step Functions המקביל JSON בהתבסס על נתוני הקלט של קובץ ה-XML.
יתרונות השימוש ב-Cognizant Data & Intelligence Toolkit (CDIT): כלי המרת ETL
להלן היתרונות העיקריים של שימוש ב-Cognizant Data & Intelligence Toolkit (CDIT): כלי המרת ETL לאוטומטי של המרת ETL מדור קודם:
- הפחתת עלויות - אתה יכול להפחית את מאמץ ההגירה הכולל עד 80% על ידי אוטומציה של ההמרה של ETL וזרימות עבודה ל-AWS Glue and Step Functions
- תכנון וביצוע טובים יותר - אתה יכול להעריך את היקף ה-ETL ולקבוע אחוז אוטומציה, מורכבות ודפוסים לא נתמכים לפני תחילת הפרויקט, וכתוצאה מכך לאומדן מדויק ולוחות זמנים
- שְׁלֵמוּת - ערכת הכלים של מידע ומודיעין Cognizant (CDIT): כלי המרת ETL מציע פתרון אחד עם תמיכה במספר כלי ETL מדור קודם כמו Informatica, DataStage, Talend ועוד.
- שיפור חוויית הלקוח - אתה יכול להשיג יעדי הגירה בצורה חלקה ללא שגיאות הנגרמות מהמרה ידנית ועם אחוז אוטומציה גבוה
מקרה מבחן: ערכת כלים של Cognizant Data & Intelligence (CDIT): יישום מוצע של כלי המרת ETL
חברת ביטוח וקצבאות גדולה בארה"ב רצתה להעביר את תהליך ה-ETL הישן שלה ב-Informatica ל-AWS Glue כחלק מאסטרטגיית הגירת הענן שלהם.
כחלק ממעורבות זו, Cognizant עזר ללקוח להעביר בהצלחה את משרות הרכישה והשילוב של ETL מבוססי Informatica ל-AWS. הוכחת קונספט (PoC) באמצעות ערכת הכלים של Cognizant Data & Intelligence (CDIT): כלי המרת ETL הושלם תחילה כדי להציג ולאמת יכולות אוטומציה.
ערכת הכלים של Cognizant Data & Intelligence (CDIT): כלי המרת ETL שימש להמרה אוטומטית של למעלה מ-300 מיפויים וזרימות עבודה של Informatica לעבודות דבק מקבילות של AWS ו- Step Functions, בהתאמה. כתוצאה מכך, הלקוח הצליח להעביר את כל קוד ה-ETL מדור קודם ל-AWS כמתוכנן ולהוציא את האפליקציה מדור קודם.
להלן דגשים מרכזיים ממעורבות זו:
- העברה של למעלה מ-300 משרות מדור קודם של Informatica ETL ל-AWS Glue
- המרה אוטומטית של למעלה מ-6,000 טרנספורמציות מ-ETL מדור קודם ל-AWS Glue
- אוטומציה של 85% הושגה באמצעות CDIT: ETL Conversion Tool
- הלקוח חסך עמלות רישוי ופרש את היישום הישן שלו כמתוכנן
סיכום
בפוסט זה, דנו כיצד העברת תהליכי ETL מדור קודם לענן היא קריטית להצלחת מסע הגירה בענן. Cognizant Data & Intelligence Toolkit (CDIT): כלי המרת ETL מאפשר לך לבצע הערכה של תהליך ה-ETL הקיים כדי להסיק מורכבות ואחוז אוטומציה לצורך הערכה ותכנון טובים יותר. דנו גם בטכנולוגיות ETL הנתמכות על ידי Cognizant Data & Intelligence Toolkit (CDIT): כלי המרת ETL וכיצד ניתן להמיר משרות ETL לתסריטים מתאימים של AWS Glue. לבסוף, הדגמנו כיצד להשתמש בזרימות עבודה קיימות של ETL כדי ליצור אוטומטית עבודות תזמור מתאימות של Step Functions.
למידע נוסף, אנא פנה אל Cognizant.
על הכותבים
דיפאק סינג הוא ארכיטקט פתרונות בכיר בחברת Amazon Web Services עם 20+ שנות ניסיון ב-Data & AIA. הוא נהנה לעבוד עם שותפים ולקוחות של AWS על בניית פתרונות אנליטיים ניתנים להרחבה עבור התוצאות העסקיות שלהם. כשהוא לא בעבודה, הוא אוהב לבלות עם המשפחה או לחקור טכנולוגיות חדשות בתחום האנליטיקה ומרחב הבינה המלאכותית.
פיוש פטרה הוא ארכיטקט פתרונות שותפים בשירותי האינטרנט של Amazon, שם הוא תומך בשותפים במסעות האנליטיקה שלהם, והוא המוביל העולמי לתוכניות שותפים אסטרטגיות של מודרניזציה והגירה של נתונים.
גובינד מוהן הוא מנהל שותף ב-Cognizant עם למעלה מ-18 שנות ניסיון בתחום הנתונים והניתוח, הוא עזר לתכנן ולהטמיע מספר רב של העברת נתונים בקנה מידה גדול, הרמה והסטה של יישומים ומודרניזציה מדור קודם ועובד בשיתוף פעולה הדוק עם לקוחות בהאצת מסע המודרניזציה בענן. מינוף פלטפורמת Cognizant Data and Intelligence Toolkit (CDIT).
קאוסיק דהאר היא מובילה טכנולוגית בעלת יותר מ-23 שנות ניסיון ב-IT - מתמקדת בעיקר בנתונים וניתוחים, מודרניזציה של נתונים, פיתוח יישומים, ניהול אספקה וארכיטקטורת פתרונות. הוא מילא תפקיד מרכזי בהדרכת לקוחות דרך תכנון וביצוע העברות נתונים ותהליכים בקנה מידה גדול, בנוסף להובלת יישומי ענן מוצלחים. לקאוסיק יש מומחיות בגיבוש אסטרטגיות הגירה עבור תוכניות מורכבות ובניית ארכיטקטורת אגם/ליקהאוס בצורה מיומנת תוך שימוש במגוון רחב של כלים וטכנולוגיות.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- :יש ל
- :הוא
- :לֹא
- :איפה
- 000
- 100
- 220
- 23
- 300
- a
- יכול
- מאיצה
- מאיצים
- דיוק
- מדויק
- להשיג
- הושג
- לרכוש
- רכישה
- תוספת
- יתרון
- לאחר
- AI
- AIA
- תעשיות
- גם
- למרות
- אמזון בעברית
- אמזון
- אמזון RDS
- אמזון שירותי אינטרנט
- an
- אנליטית
- ניתוח
- ו
- כל
- בקשה
- פיתוח אפליקציות
- גישה
- ארכיטקטורה
- ARE
- מערך
- AS
- לְהַעֲרִיך
- הערכה
- עמית
- המשויך
- At
- אוטומטי
- אוטומטית
- באופן אוטומטי
- אוטומציה
- אוטומציה
- AWS
- דבק AWS
- מבוסס
- BE
- לפני
- הטבות
- מוטב
- בֵּין
- בלוג
- שניהם
- הפסקות
- מביאים
- לִבנוֹת
- בִּניָן
- עסקים
- עסקים
- אבל
- by
- CAN
- יכולות
- גרם
- לקוחות
- מקרוב
- ענן
- קוד
- מכיר
- מגיע
- הערה
- חברות
- חברה
- השלמת
- לחלוטין
- מורכב
- מורכבות
- לחשב
- מושג
- קונסול
- בנייה
- רציף
- המרה
- להמיר
- הומר
- המרת
- תוֹאֵם
- עלות
- קריטי
- לקוח
- לקוחות
- נתונים
- מחסן נתונים
- מחסני נתונים
- מסד נתונים
- מסירה
- מופגן
- לתאר
- עיצוב
- תכנון
- פרט
- לקבוע
- צעצועי התפתחות
- מְנַהֵל
- נָדוֹן
- מטה
- יעילות
- יעיל
- מאמץ
- מבטל
- חיסול
- העסקת
- מאפשר
- מקצה לקצה
- התעסקות
- מהונדס
- להעשיר
- לדמיין
- שווה
- שגיאה
- שגיאות
- אחוזה
- Ether (ETH)
- אירוע
- דוגמה
- מבצע
- קיימים
- ניסיון
- מומחיות
- היכרות
- מידה
- תמצית
- משפחה
- מהר יותר
- תכונות
- אגרות
- תרשים
- שלח
- קבצים
- ראשון
- קבוע
- להתמקד
- מרוכז
- הבא
- כדלקמן
- בעד
- ניסוח
- קדימה
- החל מ-
- פונקציות
- ליצור
- מייצר
- יצירת
- גלוֹבָּלִי
- שערים
- יש
- יש
- he
- לעזור
- עזר
- עוזר
- גָבוֹהַ
- פסים
- איך
- איך
- http
- HTTPS
- בן אנוש
- IAM
- זהות
- if
- מדגים
- ליישם
- הפעלה
- יישומים
- in
- תשתית
- יוזמה
- חדשני
- קלט
- תשומות
- ביטוח
- השתלבות
- מוֹדִיעִין
- מִמְשָׁק
- פנימי
- כלפי פנים
- אל תוך
- אינטואיטיבי
- מעורב
- בעיות
- IT
- שֶׁלָה
- עבודה
- מקומות תעסוקה
- מסע
- מסעות
- jpg
- ג'סון
- מפתח
- סוג
- גָדוֹל
- בקנה מידה גדול
- לבסוף
- האחרון
- עוֹפֶרֶת
- מנהיג
- לִלמוֹד
- מוֹרֶשֶׁת
- מאפשר לי
- מינוף
- רישוי
- כמו
- קווים
- לִטעוֹן
- הגיוני
- עוד
- נראה
- מגרש
- אוהב
- ראשי
- ניהול
- מדריך ל
- באופן ידני
- רב
- מיפוי
- שוק
- מנגנוני
- מידע נוסף
- נודד
- נודד
- הֲגִירָה
- מודל
- מוֹדֶרנִיזָצִיָה
- ניטור
- יותר
- הרבה
- מספר
- יליד
- הכרח
- נחוץ
- חדש
- טכנולוגיות חדשות
- הבא
- לא
- מספר
- of
- הַצָעָה
- המיוחדות שלנו
- on
- ONE
- רק
- מבצעי
- אפשרות
- or
- תזמור
- להזמין
- הַחוּצָה
- תוצאות
- תפוקה
- יותר
- מקיף
- חלק
- שותף
- שותפים
- פטנט
- תבנית
- דפוסי
- אחוזים
- לבצע
- מכריע
- מקום
- מתוכנן
- תכנון
- פלטפורמה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- שיחק
- משחק
- אנא
- PoC
- הודעה
- פוטנציאל
- ראש הממשלה
- בראש ובראשונה
- תהליך
- תהליכים
- תהליך
- תוכניות
- התקדמות
- פּרוֹיֶקט
- פרויקטים
- הוכחה
- הוכחה של רעיון או תאוריה
- מוּצָע
- מתן
- פיתון
- מהירות
- לְהַגִיעַ
- להפחית
- לדווח
- מאגר
- בהתאמה
- תוצאה
- וכתוצאה מכך
- שִׁכתוּב
- הסיכון
- תפקיד
- הפעלה
- שמור
- הציל
- חסכת
- סולם
- להרחבה
- היקף
- תסריט
- סקריפטים
- בצורה חלקה
- אבטחה
- לראות
- בחירה
- לחצני מצוקה לפנסיונרים
- שירותים
- סט
- כמה
- משמרת
- ראווה
- הראה
- הופעות
- דומה
- פָּשׁוּט
- יחיד
- So
- פִּתָרוֹן
- פתרונות
- מָקוֹר
- מֶרחָב
- חוד החנית
- הוצאה
- התחלה
- שלב
- צעדים
- אחסון
- מאוחסן
- אסטרטגי
- אסטרטגיות
- אִסטרָטֶגִיָה
- לימוד
- הצלחה
- מוצלח
- בהצלחה
- כזה
- תמיכה
- נתמך
- תומך
- לקחת
- יעד
- טכנולוגיות
- טכנולוגיה
- מֵאֲשֶׁר
- זֶה
- השמיים
- המקור
- שֶׁלָהֶם
- אותם
- אז
- אלה
- זֶה
- דרך
- נִדבָּך
- זמן
- ל
- כלי
- ארגז כלים
- כלים
- לקראת
- מסורתי
- לשנות
- טרנספורמציות
- ui
- להבין
- נטען
- העלאה
- להשתמש
- מְשׁוּמָשׁ
- משתמש
- ממשק משתמש
- שימושים
- באמצעות
- לְאַמֵת
- נצפה
- רציתי
- מחסן
- היה
- we
- אינטרנט
- שירותי אינטרנט
- מה
- מתי
- אשר
- רָחָב
- עם
- לְלֹא
- תיק עבודות
- זרימת עבודה
- זרימות עבודה
- עובד
- עובד
- XML
- שנה
- שנים
- אתה
- זפירנט