האדום של אמזון הוא מחסן נתונים מהיר, מנוהל במלואו, בקנה מידה פטה-בייט, המספק את הגמישות לשימוש במחשוב מסודר או ללא שרת עבור עומסי העבודה האנליטיים שלך. באמצעות אמזון ללא שרתים לאדום ו עורך שאילתות v2, אתה יכול לטעון ולשאול מערכי נתונים גדולים בכמה קליקים בלבד ולשלם רק על מה שאתה משתמש בו. ארכיטקטורת המחשוב והאחסון המנותקים של Amazon Redshift מאפשרת לך לבנות עומסי עבודה ניתנים להרחבה, עמידים וחסכוניים ביותר. לקוחות רבים מעבירים את עומסי מחסני הנתונים שלהם לאמזון Redshift ונהנים מהיכולות העשירות שהיא מציעה. להלן רק חלק מהיכולות הבולטות:
- Amazon Redshift משתלב בצורה חלקה עם רחב יותר שירותי ניתוח ב-AWS. זה מאפשר לך לבחור את הכלי המתאים לעבודה הנכונה. אנליטיקה מודרנית היא הרבה יותר רחבה מאחסון נתונים מבוסס SQL. Amazon Redshift מאפשר לך לבנות ארכיטקטורות של בית אגם ולאחר מכן לבצע כל סוג של ניתוח, כגון ניתוח אינטראקטיבי, ניתוח תפעולי, עיבוד נתונים גדולים, הכנת נתונים חזותיים, ניתוח חזוי, למידת מכונה (ML), ועוד.
- אינך צריך לדאוג לעומסי עבודה, כגון ETL, לוחות מחוונים, שאילתות אד-הוק וכן הלאה, המפריעים זה לזה. אתה יכול לבודד עומסי עבודה באמצעות שיתוף נתונים, תוך שימוש באותם מערכי נתונים בסיסיים.
- כאשר משתמשים מריצים שאילתות רבות בזמני שיא, חשב קנה מידה חלקה תוך שניות כדי לספק ביצועים עקביים במקביליות גבוהה. אתה מקבל שעה אחת של קיבולת קנה מידה בחינם עבור 24 שעות של שימוש. אשראי חינם זה עונה על הדרישה במקביל של 97% מבסיס הלקוחות של Amazon Redshift.
- אמזון Redshift קל לשימוש כוונון עצמי ואופטימיזציה עצמית יכולות. אתה יכול לקבל תובנות מהירות יותר מבלי לבזבז זמן יקר בניהול מחסן הנתונים שלך.
- סובלנות לתקלות הוא מובנה. כל הנתונים שנכתבים לאמזון Redshift משוכפלים באופן אוטומטי ורציף שירות אחסון פשוט של אמזון (אמזון S3). כל תקלות חומרה מוחלפות אוטומטית.
- אמזון לאדום הוא פשוט לאינטראקציה עם. אתה יכול לגשת לנתונים עם יישומים מסורתיים, מקוריים בענן, מיכלים וללא שרתים מבוססי שירותי אינטרנט או אפליקציות מונעי אירועים וכן הלאה.
- היסט לאדום ML מקל על מדעני נתונים ליצור, לאמן ולפרוס מודלים של ML באמצעות SQL מוכר. הם יכולים גם להריץ תחזיות באמצעות SQL.
- אמזון Redshift מספקת אבטחת מידע מקיפה ללא עלות נוספת. אתה יכול להגדיר הצפנת נתונים מקצה לקצה, להגדיר כללי חומת אש, להגדיר בקרות אבטחה ברמת השורות והעמודות על נתונים רגישים, וכן הלאה.
- האדום של אמזון משתלב בצורה חלקה עם שירותי AWS אחרים וכלים של צד שלישי. אתה יכול להעביר, לשנות, לטעון ולשאול מערכי נתונים גדולים במהירות ובאמינות.
בפוסט זה, אנו מספקים הדרכה להעברת מחסן נתונים מ-Google BigQuery לאמזון Redshift באמצעות כלי המרת סכמת AWS (AWS SCT) ו סוכני חילוץ נתונים של AWS SCT. AWS SCT הוא שירות שהופך העברת מסד נתונים הטרוגנית לניתנת לחיזוי על ידי המרה אוטומטית של רוב קוד מסד הנתונים ואובייקטי האחסון לפורמט התואם למסד הנתונים היעד. כל אובייקט שלא ניתן להמרה אוטומטית מסומן בבירור כך שניתן להמיר אותם ידנית להשלמת ההעברה. יתר על כן, AWS SCT יכול לסרוק את קוד היישום שלך לאיתור הצהרות SQL משובצות ולהמיר אותן.
סקירת פתרונות
AWS SCT משתמש בחשבון שירות כדי להתחבר לפרויקט BigQuery שלך. ראשית, אנו יוצרים מסד נתונים של Amazon Redshift שאליו מועברים נתוני BigQuery. לאחר מכן, אנו יוצרים דלי S3. לאחר מכן, אנו משתמשים ב-AWS SCT כדי להמיר סכימות של BigQuery ולהחיל אותן על אמזון Redshift. לבסוף, כדי להעביר נתונים, אנו משתמשים בסוכני חילוץ נתונים של AWS SCT, אשר מחלצים נתונים מ-BigQuery, מעלים אותם ל-S3, ואז מעתיקים לאמזון Redshift.
תנאים מוקדמים
לפני שתתחיל בהדרכה זו, עליך לעמוד בדרישות הקדם הבאות:
- תחנת עבודה עם AWS SCT, אמזון קורטו 11, ומנהלי התקנים של Amazon Shift.
- אתה יכול להשתמש ב- ענן מחשוב אלסטי של אמזון (אמזון EC2) מופע או שולחן העבודה המקומי שלך כתחנת עבודה. בהדרכה זו, אנו משתמשים מופע Windows EC2 של Amazon. כדי ליצור אותו, השתמש מדריך זה.
- כדי להוריד ולהתקין את AWS SCT במופע EC2 שיצרת בעבר, השתמש מדריך זה.
- הורד את מנהל ההתקן של Amazon Redshift JDBC מ מיקום זה.
- להוריד ולהתקין אמזון קורטו 11.
- חשבון שירות GCP שבו AWS SCT יכול להשתמש כדי להתחבר לפרויקט BigQuery המקור שלך.
- להעניק מנהל BigQuery ו מנהל אחסון תפקידים לחשבון השירות.
- העתק את קובץ מפתח חשבון השירות, שנוצר במסוף ניהול הענן של Google, למופע EC2 שיש לו AWS SCT.
- צור דלי של Cloud Storage ב-GCP כדי לאחסן את נתוני המקור שלך במהלך ההעברה.
הדרכה זו מכסה את השלבים הבאים:
- צור קבוצת עבודה ומרחב שמות ללא Shift Redshift של Amazon
- צור את הדלי והתיקייה של AWS S3
- המר והחל את סכמת BigQuery ל- Amazon Redshift באמצעות AWS SCT
- מתחבר למקור Google BigQuery
- התחבר אל יעד ההסטה לאדום של אמזון
- המר את סכימת BigQuery להסטת אדום של אמזון
- נתח את דוח ההערכה והתייחס לפריטי הפעולה
- החל סכימה שהומרה כדי למקד לאמזון Redshift
- העבר נתונים באמצעות סוכני חילוץ נתונים של AWS SCT
- יצירת אמון וחנויות מפתח (אופציונלי)
- התקן והתחל את סוכן חילוץ הנתונים
- רשום סוכן חילוץ נתונים
- הוסף מחיצות וירטואליות עבור שולחנות גדולים (אופציונלי)
- צור משימת העברה מקומית
- התחל את משימת העברת הנתונים המקומית
- הצג נתונים באמזון לאדום
צור קבוצת עבודה ומרחב שמות ללא Shift Redshift של Amazon
בשלב זה, אנו יוצרים קבוצת עבודה ומרחב שמות ללא שרתים של Amazon Redshift. Workgroup הוא אוסף של משאבי מחשוב ומרחב השמות הוא אוסף של אובייקטים ומשתמשים של מסד נתונים. כדי לבודד עומסי עבודה ולנהל משאבים שונים באמזון Redshift Serverless, אתה יכול ליצור מרחבי שמות וקבוצות עבודה ולנהל משאבי אחסון ומחשוב בנפרד.
בצע את השלבים הבאים כדי ליצור קבוצת עבודה ומרחב שמות ללא שרתים של Amazon Redshift:
- נווט אל קונסולת אמזון Redshift.
- בפינה השמאלית העליונה, בחר את אזור ה-AWS שבו תרצה להשתמש.
- הרחב את חלונית ההסטה לאדום של אמזון משמאל ובחר היסט לאדום ללא שרת.
- בחרו צור קבוצת עבודה.
- בעד שם קבוצת עבודה, הזן שם שמתאר את משאבי המחשוב.
- ודא שה-VPC זהה ל-VPC כמו מופע EC2 עם AWS SCT.
- בחרו הַבָּא.
- בעד שם מרחב השמות, הזן שם שמתאר את מערך הנתונים שלך.
- In שם מסד נתונים וסיסמה סעיף, בחר בתיבת הסימון התאם אישית את אישורי משתמש מנהל.
- בעד שם משתמש מנהל, הזן שם משתמש לבחירתך, למשל awsuser.
- בעד סיסמת משתמש מנהל: הזן סיסמה לבחירתך, למשל MyRedShiftPW2022.
- בחרו הבא. שים לב שהנתונים במרחב השמות ללא שרתים של Amazon Redshift מוצפנים כברירת מחדל.
- ב סקירה ויצירה עמוד, בחר צור.
- צור AWS ניהול זהות וגישה (IAM) תפקיד והגדר אותו כברירת מחדל במרחב השמות שלך, כמתואר להלן. שים לב שיכול להיות רק תפקיד IAM ברירת מחדל אחד.
- נווט אל לוח מחוונים ללא שרתים של Amazon Redshift.
- תַחַת מרחבי שמות / קבוצות עבודה, בחר את מרחב השמות שיצרת זה עתה.
- נווט אלאבטחה והצפנה.
- תַחַת הרשאות, בחר ניהול תפקידי IAM.
- נווט אל ניהול תפקידי IAM. לאחר מכן, בחר את ניהול תפקידי IAM תפריט נפתח ובחר צור תפקיד IAM.
- תַחַת ציין דלי של Amazon S3 עבור תפקיד IAM לגישה, בחר באחת מהשיטות הבאות:
- בחרו אין דלי נוסף של Amazon S3 כדי לאפשר לתפקיד IAM שנוצר לגשת רק לדלי S3 עם שם שמתחיל בהיסט לאדום.
- בחרו כל דלי אמזון S3 כדי לאפשר לתפקיד IAM שנוצר לגשת לכל הדליים של S3.
- בחרו דליים ספציפיים של Amazon S3 כדי לציין דלי S3 אחד או יותר עבור תפקיד IAM שנוצר לגישה. לאחר מכן בחר דלי S3 אחד או יותר מהטבלה.
- בחרו צור תפקיד IAM כברירת מחדל. Amazon Redshift יוצר ומגדיר באופן אוטומטי את תפקיד IAM כברירת מחדל.
- לכוד את נקודת הקצה עבור קבוצת העבודה של Amazon Redshift Serverless שיצרת זה עתה.
צור את הדלי והתיקיה של S3
במהלך תהליך העברת הנתונים, AWS SCT משתמש ב-Amazon S3 כאזור היערכות עבור הנתונים שחולצו. בצע את השלבים הבאים כדי ליצור את דלי S3:
- נווט אל קונסולת אמזון S3
- בחרו צור דלי. ה צור דלי האשף נפתח.
- בעד שם הדלי, הזן שם ייחודי תואם DNS עבור הדלי שלך (למשל, שם ייחודי-bq-rs). ראה כללים למתן שמות לדלי בעת בחירת שם.
- עבור אזור AWS, בחר את האזור שבו יצרת את קבוצת העבודה של Amazon Redshift Serverless.
- בחר צור דלי.
- ב קונסולת אמזון S3, נווט אל דלי S3 שיצרת זה עתה (למשל, שם ייחודי-bq-rs).
- בחרו "צור תיקייה" כדי ליצור תיקיה חדשה.
- בעד שם התיקיה, להיכנס נכנס ולבחור צור תיקיה.
המר והחל את סכמת BigQuery ל- Amazon Redshift באמצעות AWS SCT
כדי להמיר את סכימת BigQuery לפורמט Amazon Redshift, אנו משתמשים ב-AWS SCT. התחל בכניסה למופע EC2 שיצרנו בעבר, ולאחר מכן הפעל את AWS SCT.
בצע את השלבים הבאים באמצעות AWS SCT:
התחבר למקור BigQuery
- מ תפריט קובץ לבחור צור פרוייקט חדש.
- בחר מיקום לאחסון קבצי הפרויקט והנתונים שלך.
- ספק שם משמעותי אך בלתי נשכח לפרויקט שלך, כגון BigQuery לאמזון לאדום.
- כדי להתחבר למחסן הנתונים של המקור של BigQuery, בחר הוסף מקור מהתפריט הראשי.
- בחרו BigQuery ולבחור הַבָּא. ה הוסף מקור תיבת הדו-שיח מופיעה.
- בעד שם החיבור, הזן שם כדי לתאר את חיבור BigQuery. AWS SCT מציג את השם הזה בעץ בחלונית השמאלית.
- בעד נתיב מפתח, ספק את הנתיב של קובץ מפתח חשבון השירות שנוצר בעבר במסוף ניהול הענן של Google.
- בחרו בדיקת חיבור כדי לוודא ש-AWS SCT יכול להתחבר לפרויקט BigQuery המקור שלך.
- לאחר אימות החיבור בהצלחה, בחר לְחַבֵּר.
התחבר אל יעד ההסטה לאדום של אמזון
בצע את השלבים הבאים כדי להתחבר לאמזון Redshift:
- ב-AWS SCT, בחר הוסף יעד מהתפריט הראשי.
- בחרו האדום של אמזון, ואז לבחור הבא. השמיים הוסף יעד תיבת הדו-שיח מופיעה.
- בעד שם החיבור, הזן שם כדי לתאר את החיבור של Amazon Shift. AWS SCT מציג את השם הזה בעץ בחלונית הימנית.
- בעד שם שרת, הזן את נקודת הקצה של קבוצת העבודה של Amazon Redshift Serverless שנלכדה בעבר.
- בעד יציאת שרת, להיכנס 5439.
- בעד מאגר מידע, להיכנס dev.
- בעד שם משתמש, הזן את שם המשתמש שנבחר בעת יצירת קבוצת העבודה של Amazon Redshift Serverless.
- בעד סיסמה, הזן את הסיסמה שנבחרה בעת יצירת קבוצת עבודה ללא שרתים של Amazon Redshift.
- בטל את הסימון תיבת "השתמש ב-AWS Glue".
- בחרו בדיקת חיבור כדי לוודא ש-AWS SCT יכול להתחבר לקבוצת העבודה היעד שלך באמזון Redshift.
- בחרו לְחַבֵּר כדי להתחבר ליעד ההיסט לאדום של אמזון.
שימו לב שלחילופין תוכלו להשתמש בערכי חיבור המאוחסנים ב מנהל סודות AWS.
המר את סכימת BigQuery להסטת אדום של אמזון
לאחר יצירת חיבורי המקור והיעד בהצלחה, אתה רואה את עץ האובייקטים של המקור BigQuery בחלונית השמאלית ואת עץ האובייקטים של Amazon Redshift בחלונית הימנית.
בצע את השלבים הבאים כדי להמיר את סכימת BigQuery לפורמט אמזון האדום:
- בחלונית השמאלית, לחץ לחיצה ימנית על הסכימה שברצונך להמיר.
- בחרו המר סכימה.
- מופיעה תיבת דו-שיח עם שאלה, ייתכן שהאובייקטים כבר קיימים במסד הנתונים של היעד. החלף?. בחרו כן.
לאחר השלמת ההמרה, אתה רואה סכימה חדשה שנוצרה בחלונית האדום של אמזון (חלונית ימין) עם שם זהה לזה של סכימת BigQuery שלך.
הסכימה לדוגמה שבה השתמשנו כוללת 16 טבלאות, 3 תצוגות ו-3 נהלים. אתה יכול לראות את האובייקטים האלה בפורמט אמזון האדום בחלונית הימנית. AWS SCT ממירה את כל קוד ה-BigQuery ואובייקטי הנתונים לפורמט Amazon Redshift. יתר על כן, אתה יכול להשתמש ב-AWS SCT כדי להמיר סקריפטים חיצוניים של SQL, קוד יישום או קבצים נוספים עם SQL מוטבע.
נתח את דוח ההערכה והתייחס לפריטי הפעולה
AWS SCT יוצר דוח הערכה כדי להעריך את מורכבות ההגירה. AWS SCT יכול להמיר את רוב אובייקטי הקוד ובסיס הנתונים. עם זאת, חלק מהאובייקטים עשויים לדרוש המרה ידנית. AWS SCT מדגיש אובייקטים אלה בכחול בתרשים סטטיסטיקת ההמרות ויוצר פריטי פעולה עם מורכבות המצורפת אליהם.
כדי להציג את דוח ההערכה, עבור מה- תצוגה ראשית אל ה תצוגת דו"ח הערכה באופן הבא:
השמיים <br> סיכום הכרטיסייה מציגה אובייקטים שהומרו אוטומטית, ואובייקטים שלא הומרו אוטומטית. ירוק מייצג המרה אוטומטית או עם פריטי פעולה פשוטים. כחול מייצג פריטי פעולה בינוניים ומורכבים הדורשים התערבות ידנית.
השמיים פריטי פעולה הכרטיסייה מציגה את הפעולות המומלצות עבור כל בעיית המרה. אם תבחר פריט פעולה מהרשימה, AWS SCT מדגיש את האובייקט עליו חל פריט הפעולה.
הדוח מכיל גם המלצות כיצד להמיר את פריט הסכימה באופן ידני. לדוגמה, לאחר ריצת ההערכה, דוחות מפורטים עבור מסד הנתונים/סכימה מראים לך את המאמץ הנדרש לעיצוב ויישום ההמלצות להמרת פריטי פעולה. למידע נוסף על החלטה כיצד לטפל בהמרות ידניות, ראה טיפול בהמרות ידניות ב-AWS SCT. Amazon Redshift נוקט כמה פעולות באופן אוטומטי תוך המרת הסכימה ל-Amazon Redshift. חפצים עם פעולות אלו מסומנים בתמרור אזהרה אדום.
אתה יכול להעריך ולבדוק את האובייקט הבודד DDL על ידי בחירתו מהחלונית הימנית, ותוכל גם לערוך אותו לפי הצורך. בדוגמה הבאה, AWS SCT משנה את עמודות סוג הנתונים RECORD ו-JSON בטבלת BigQuery ncaaf_referee_data לסוג הנתונים SUPER ב-Amazon Redshift. מפתח המחיצה בטבלת ncaaf_referee_data מומר למפתח ההפצה ומפתח המיון באמזון Redshift.
החל סכימה שהומרה כדי למקד לאמזון Redshift
כדי להחיל את הסכימה שהומרה על אמזון Redshift, בחר את הסכימה שהומרה בחלונית הימנית, לחץ לחיצה ימנית ולאחר מכן בחר החל על מסד נתונים.
העבר נתונים מ-BigQuery לאמזון Redshift באמצעות סוכני חילוץ נתונים AWS SCT
סוכני חילוץ AWS SCT מחלצים נתונים ממסד הנתונים של המקור שלך ומעבירים אותם לענן AWS. בהדרכה זו, אנו מראים כיצד להגדיר סוכני חילוץ AWS SCT לחלץ נתונים מ-BigQuery ולהעביר לאמזון Redshift.
ראשית, התקן את סוכן החילוץ של AWS SCT באותו מופע של Windows שבו מותקן AWS SCT. לביצועים טובים יותר, אנו ממליצים להשתמש במופע Linux נפרד כדי להתקין סוכני חילוץ במידת האפשר. עבור מערכי נתונים גדולים, אתה יכול להשתמש במספר סוכני חילוץ נתונים כדי להגביר את מהירות העברת הנתונים.
יצירת אמון וחנויות מפתח (אופציונלי)
אתה יכול להשתמש בתקשורת מוצפנת של Secure Socket Layer (SSL) עם מחלצי נתונים של AWS SCT. כאשר אתה משתמש ב-SSL, כל הנתונים המועברים בין האפליקציות נשארים פרטיים ואינטגרליים. כדי להשתמש בתקשורת SSL, עליך ליצור אמון ומאגרי מפתח באמצעות AWS SCT. אתה יכול לדלג על שלב זה אם אינך רוצה להשתמש ב-SSL. אנו ממליצים להשתמש ב-SSL לעומסי עבודה בייצור.
בצע את השלבים הבאים כדי ליצור אמון וחנויות מפתח:
- ב-AWS SCT, נווט אל הגדרות ← הגדרות גלובליות ← אבטחה.
- בחרו יצירת אמון וחנות מפתחות.
- הזן את השם והסיסמה עבור חנויות אמון ומפתחות ובחר מיקום שבו תרצה לאחסן אותם.
- בחרו ליצור.
התקן והגדר את סוכן חילוץ הנתונים
בחבילת ההתקנה של AWS SCT, אתה מוצא סוכן של תיקיית משנה (aws-schema-conversion-tool-1.0.latest.zipagents
). אתר והתקן את קובץ ההפעלה עם שם כמו aws-schema-conversion-tool-extractor-xxxxxxxx.msi.
בתהליך ההתקנה, בצע את השלבים הבאים כדי להגדיר את AWS SCT Data Extractor:
- בעד נמל האזנה, הזן את מספר היציאה שבו הסוכן מאזין. זה 8192 כברירת מחדל.
- בעד הוסף ספק מקור, להיכנס לא, מכיוון שאתה לא צריך מנהלי התקנים כדי להתחבר ל-BigQuery.
- בעד הוסף את מנהל ההתקן של Amazon Shift, להיכנס כן.
- בעד הזן Redshift JDBC מנהל התקן או קבצים, הזן את המיקום שבו הורדת מנהלי התקנים של Amazon Redshift JDBC.
- בעד תיקיית עבודה, הזן את הנתיב שבו סוכן חילוץ הנתונים של AWS SCT יאחסן את הנתונים שחולצו. תיקיית העבודה יכולה להיות במחשב שונה מהסוכן, ותיקיית עבודה בודדת יכולה להיות משותפת על ידי מספר סוכנים במחשבים שונים.
- בעד אפשר תקשורת SSL, להיכנס כן. בחר לא כאן אם אינך רוצה להשתמש ב-SSL.
- בעד חנות מפתחות, הזן את מיקום האחסון שנבחר בעת יצירת חנות האמון והמפתחות.
- בעד סיסמת חנות המפתחות, הזן את הסיסמה עבור מאגר המפתחות.
- בעד אפשר אימות SSL של לקוח, להיכנס כן.
- בעד חנות אמון, הזן את מיקום האחסון שנבחר בעת יצירת חנות האמון והמפתחות.
- בעד סיסמת חנות אמון, הזן את הסיסמה עבור חנות האמון.
התחלת סוכני חילוץ נתונים
השתמש בהליך הבא כדי להתחיל סוכני חילוץ. חזור על הליך זה בכל מחשב שמותקן בו סוכן חילוץ.
סוכני חילוץ פועלים כמאזינים. כאשר אתה מתחיל סוכן עם הליך זה, הסוכן מתחיל להקשיב להוראות. אתה שולח לסוכנים הוראות לחלץ נתונים ממחסן הנתונים שלך בסעיף מאוחר יותר.
כדי להפעיל את סוכן החילוץ, נווט אל ספריית AWS SCT Data Extractor Agent. לדוגמה, ב-Microsoft Windows, לחץ פעמיים C:Program FilesAWS SCT Data Extractor AgentStartAgent.bat
.
- במחשב שבו מותקן סוכן החילוץ, משורת פקודה או מחלון מסוף, הפעל את הפקודה הרשומה בעקבות מערכת ההפעלה שלך.
- כדי לבדוק את מצב הסוכן, הפעל את אותה פקודה אך החלף את התחל בסטטוס.
- כדי לעצור סוכן, הפעל את אותה פקודה אך החלף את התחל ב-stop.
- כדי להפעיל מחדש סוכן, הפעל את אותו קובץ RestartAgent.bat.
רשום את סוכן חילוץ הנתונים
בצע את השלבים הבאים כדי לרשום את סוכן חילוץ הנתונים:
- ב-AWS SCT, שנה את התצוגה ל תצוגת העברת נתונים (אחר) ולבחור + הרשמה.
- בלשונית החיבור:
- בעד תיאור, הזן שם כדי לזהות את סוכן חילוץ הנתונים.
- בעד שם מארח, אם התקנת את סוכן חילוץ הנתונים באותה תחנת עבודה כמו AWS SCT, הזן 0.0.0.0 כדי לציין מארח מקומי. אחרת, הזן את שם המארח של המחשב שבו מותקן AWS SCT Data Extraction Agent. מומלץ להתקין את סוכני חילוץ הנתונים על לינוקס לביצועים טובים יותר.
- בעד נָמָל, הזן את המספר שהוזן עבור נמל האזנה בעת התקנת AWS SCT Data Extraction Agent.
- בחר בתיבת הסימון כדי להשתמש ב-SSL (אם אתה משתמש ב-SSL) כדי להצפין את חיבור AWS SCT לסוכן חילוץ הנתונים.
- אם אתה משתמש ב-SSL, בכרטיסייה SSL:
- בעד חנות אמון, בחר את שם חנות הנאמנות שנוצר כאשר יצירת אמון וחנויות מפתח (אופציונלי, אתה יכול לדלג על זה אם אין צורך בקישוריות SSL).
- בעד חנות מפתחות, בחר את שם חנות המפתחות שנוצר כאשר יצירת אמון וחנויות מפתח (אופציונלי, אתה יכול לדלג על זה אם אין צורך בקישוריות SSL).
- בחרו בדיקת חיבור.
- לאחר אימות החיבור בהצלחה, בחר הירשם.
הוסף מחיצות וירטואליות עבור שולחנות גדולים (אופציונלי)
אתה יכול להשתמש ב-AWS SCT כדי ליצור מחיצות וירטואליות כדי לייעל את ביצועי ההעברה. כאשר נוצרות מחיצות וירטואליות, AWS SCT מחלץ את הנתונים במקביל עבור מחיצות. אנו ממליצים ליצור מחיצות וירטואליות עבור שולחנות גדולים.
בצע את השלבים הבאים כדי ליצור מחיצות וירטואליות:
- בטל את הבחירה בכל האובייקטים בתצוגת מסד הנתונים של המקור ב-AWS SCT.
- בחר את הטבלה שעבורה תרצה להוסיף חלוקה וירטואלית.
- לחץ לחיצה ימנית על הטבלה ובחר הוסף חלוקה וירטואלית.
- אתה יכול להשתמש במחיצות רשימה, טווח או פיצול אוטומטי. למידע נוסף על חלוקה וירטואלית, עיין ב השתמש בחלוקה וירטואלית ב-AWS SCT. בדוגמה זו, אנו משתמשים בחלוקה אוטומטית למחיצות, אשר יוצרת מחיצות טווח באופן אוטומטי. תציין את ערך ההתחלה, ערך הסיום וכמה גדולה המחיצה צריכה להיות. AWS SCT קובע את המחיצות באופן אוטומטי. להדגמה, בטבלת Lineorder:
- בעד ערך התחלה, הזן 1000000.
- בעד ערך סוף, הזן 3000000.
- בעד הפסקה, הזן 1000000 כדי לציין את גודל המחיצה.
- בחרו אוקי.
אתה יכול לראות את המחיצות שנוצרו אוטומטית תחת מחיצות וירטואליות לשונית. בדוגמה זו, AWS SCT יצרה אוטומטית את חמש המחיצות הבאות עבור השדה:
-
- <1000000
- >=1000000 ו<=2000000
- >2000000 ו<=3000000
- > 3000000
- IS NULL
צור משימת העברה מקומית
כדי להעביר נתונים מ-BigQuery ל-Amazon Redshift, צור, הרץ ונטר את משימת ההגירה המקומית מ-AWS SCT. שלב זה משתמש בסוכן חילוץ הנתונים כדי להעביר נתונים על ידי יצירת משימה.
בצע את השלבים הבאים כדי ליצור משימת העברה מקומית:
- ב-AWS SCT, תחת שם הסכימה בחלונית השמאלית, לחץ לחיצה ימנית על שולחנות סטנדרטיים.
- בחרו צור משימה מקומית.
- ישנם שלושה מצבי הגירה מהם תוכל לבחור:
- חלץ נתוני מקור ואחסן אותם במחשב/מחשב וירטואלי מקומי (VM) שבו פועל הסוכן.
- חלץ נתונים והעלה אותם על דלי S3.
- בחר לחלץ העלאה והעתק, אשר מחלץ נתונים לדלי S3 ולאחר מכן מעתיק לאמזון Redshift.
- ב מתקדם לשונית, עבור תיקיית דלי Google CS הזן את דלי/תיקיית Google Cloud Storage שיצרת קודם לכן במסוף הניהול של GCP. AWS SCT מאחסן את הנתונים שחולצו במיקום זה.
- ב הגדרות Amazon S3 לשונית, עבור תיקיית דלי אמזון S3, ספק את שמות הדלי והתיקיות של דלי S3 שיצרת קודם לכן. סוכן חילוץ הנתונים של AWS SCT מעלה את הנתונים לדלי/תיקיית S3 לפני העתקה לאמזון Redshift.
- בחרו משימת בדיקה.
- לאחר אימות המשימה בהצלחה, בחר צור.
התחל את משימת העברת הנתונים המקומית
כדי להתחיל את המשימה, בחר את הַתחָלָה כפתור ב משימות TAB.
- ראשית, סוכן חילוץ הנתונים מחלץ נתונים מ-BigQuery לתוך דלי האחסון של GCP.
- לאחר מכן, הסוכן מעלה נתונים לאמזון S3 ומשיק פקודת העתקה כדי להעביר את הנתונים לאמזון Redshift.
- בשלב זה, AWS SCT העבירה בהצלחה נתונים מטבלת המקור של BigQuery לטבלת האדום של אמזון.
הצג נתונים ב- Amazon Redshift
לאחר ביצוע משימת העברת הנתונים בהצלחה, אתה יכול להתחבר לאמזון Redshift ולאמת את הנתונים.
בצע את השלבים הבאים כדי לאמת את הנתונים באמזון Redshift:
- נווט אל Amazon Redshift QueryEditor V2.
- לחץ פעמיים על שם קבוצת העבודה של Amazon Redshift Serverless שיצרת.
- בחר את משתמש מאוחד אפשרות תחת אימות.
- בחרו צור חיבור.
- צור עורך חדש על ידי בחירה ב- + סמל.
- בעורך, כתוב שאילתה לבחירה מתוך שם הסכימה ושם הטבלה/שם התצוגה שברצונך לאמת. חקור את הנתונים, הרץ שאילתות אד-הוק וצור הדמיות ותרשימים ותצוגות.
להלן השוואה זו לצד זו בין המקור BigQuery לבין היעד של Amazon Redshift עבור מערך נתוני הספורט בו השתמשנו בהדרכה זו.
נקה את כל משאבי ה-AWS שיצרת עבור התרגיל הזה
בצע את השלבים הבאים כדי לסיים את מופע EC2:
- נווט אל קונסולת אמזון EC2.
- בחלונית הניווט בחר מקרים.
- בחר בתיבת הסימון עבור מופע EC2 שיצרת.
- בחרו מצב מופע, ולאחר מכן סיים מופע.
- בחרו לבטל, לסיים כאשר תתבקש לאשר.
בצע את השלבים הבאים כדי למחוק את קבוצת העבודה ומרחב השמות ללא שרתים של Amazon Redshift
- נווט אל לוח מחוונים ללא שרתים של Amazon Redshift.
- תַחַת מרחבי שמות / קבוצות עבודה, בחר את סביבת העבודה שיצרת.
- תַחַת פעולות, בחר מחק קבוצת עבודה.
- סמן את תיבת הסימון מחק את מרחב השמות המשויך.
- בטל את הסימון צור תמונת מצב סופית.
- זן להסיר בתיבת הטקסט של אישור המחיקה ובחר מחק.
בצע את השלבים הבאים כדי למחוק את דלי S3
- נווט אל קונסולת אמזון S3.
- בחר את הדלי שיצרת.
- בחרו מחק.
- כדי לאשר את המחיקה, הזן את שם הדלי בשדה קלט הטקסט.
- בחרו מחק דלי.
סיכום
העברת מחסן נתונים יכולה להיות פרויקט מאתגר, מורכב ועם זאת מתגמל. AWS SCT מפחית את המורכבות של העברת מחסני נתונים. בעקבות הדרכה זו, תוכל להבין כיצד משימת העברת נתונים מחלצת, מורידה ולאחר מכן מעבירה נתונים מ-BigQuery ל-Amazon Redshift. הפתרון שהצגנו בפוסט זה מבצע הגירה חד פעמית של אובייקטים ונתונים של מסד נתונים. שינויים בנתונים שנעשו ב-BigQuery כאשר ההעברה מתבצעת לא יבואו לידי ביטוי ב-Amazon Redshift. כאשר מתבצעת העברת נתונים, הנח את משימות ה-ETL שלך ב-BigQuery או הפעל מחדש את ה-ETLs על ידי הצבעה על אמזון Redshift לאחר ההעברה. שקול להשתמש ב- שיטות עבודה מומלצות עבור AWS SCT.
ל-AWS SCT יש כמה מגבלות בעת שימוש ב-BigQuery כמקור. לדוגמה, AWS SCT לא יכול להמיר שאילתות משנה בפונקציות אנליטיות, פונקציות גיאוגרפיה, פונקציות מצטברות סטטיסטיות וכן הלאה. מצא את הרשימה המלאה של המגבלות ב- מדריך למשתמש של AWS SCT. אנו מתכננים לטפל במגבלות אלו במהדורות עתידיות. למרות המגבלות הללו, אתה יכול להשתמש ב-AWS SCT כדי להמיר אוטומטית את רוב קוד BigQuery ואובייקטי האחסון שלך.
הורד והתקן את AWS SCT, היכנס ל- קונסולת AWS, בדוק את Amazon Redshift Serverless, והתחל במעבר!
על המחברים
סדריק הודי הוא ארכיטקט פתרונות עם התמקדות בהעברת מסדי נתונים באמצעות שירות העברת מסדי הנתונים של AWS (DMS) וכלי המרת סכמת AWS (SCT) ב-AWS. הוא עובד על אתגרים הקשורים להעברת DB. הוא עובד בשיתוף פעולה הדוק עם לקוחות המגזר העסקי EdTech, Energy ו-ISV כדי לעזור להם לממש את הפוטנציאל האמיתי של שירות DMS. הוא עזר להעביר 100 מאות מסדי נתונים לענן AWS באמצעות DMS ו-SCT.
עמית ערורה הוא ארכיטקט פתרונות עם התמקדות במסד נתונים ואנליטיקס ב-AWS. הוא עובד עם לקוחות הטכנולוגיה הפיננסית והאנרגיה העולמית שלנו ועם שותפים מוסמכים של AWS כדי לספק סיוע טכני ולעצב פתרונות ללקוחות בפרויקטים של הגירה בענן, לעזור ללקוחות להעביר ולחדש את מסדי הנתונים הקיימים שלהם לענן AWS.
ג'גאדיש קומאר הוא ארכיטקט פתרונות מומחה ב-Analytics ב-AWS המתמקד ב-Amazon Redshift. הוא נלהב מאוד מארכיטקטורת נתונים ועוזר ללקוחות לבנות פתרונות ניתוח בקנה מידה ב-AWS.
אנושה חלה הוא ארכיטקט פתרונות בכיר ב-Analytics ב-AWS המתמקד באמזון Redshift. היא סייעה ללקוחות רבים לבנות פתרונות מחסני נתונים בקנה מידה גדול בענן ובמקום. אנושה נלהבת מניתוח נתונים ומדע נתונים ומאפשרת ללקוחות להגיע להצלחה עם פרויקטי הנתונים בקנה מידה גדול שלהם.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
- מקור: https://aws.amazon.com/blogs/big-data/migrate-google-bigquery-to-amazon-redshift-using-aws-schema-conversion-tool-sct/
- 1
- 10
- 100
- 9
- a
- אודות
- גישה
- חֶשְׁבּוֹן
- להשיג
- לפעול
- פעולה
- פעולות
- נוסף
- כתובת
- מנהל
- לאחר
- סוֹכֵן
- סוכנים
- תעשיות
- כְּבָר
- אמזון בעברית
- אנליטי
- אנליטית
- ניתוח
- ו
- בקשה
- יישומים
- החל
- ארכיטקטורה
- AREA
- הערכה
- סיוע
- המשויך
- אימות
- המכונית
- באופן אוטומטי
- AWS
- בסיס
- לבת
- לפני
- תועלת
- מוטב
- בֵּין
- גָדוֹל
- כָּחוֹל
- אריזה מקורית
- לִבנוֹת
- עסקים
- לַחְצָן
- יכול לקבל
- לא יכול
- יכולות
- קיבולת
- מוסמך
- האתגרים
- אתגר
- שינוי
- שינויים
- תרשימים
- לבדוק
- לתשלום
- בחירה
- בחרו
- בחירה
- נבחר
- בבירור
- לקוחות
- מקרוב
- ענן
- אחסון ענן
- קוד
- אוסף
- טור
- עמודות
- תקשורת
- השוואה
- תואם
- להשלים
- מורכב
- מורכבות
- לחשב
- המחשב
- מחשבים
- תְצוּרָה
- לאשר
- לְחַבֵּר
- הקשר
- חיבורי
- קישוריות
- לשקול
- עִקבִי
- קונסול
- מכיל
- בקרות
- המרה
- המרות
- להמיר
- הומר
- הַעתָקָה
- עלות
- עלות תועלת
- לִיצוֹר
- נוצר
- יוצר
- יוצרים
- אשראי
- לקוח
- פתרונות ללקוח
- לקוחות
- נתונים
- ניתוח נתונים
- מדע נתונים
- שיתוף מידע
- מסד נתונים
- מאגרי מידע
- מערכי נתונים
- מחליטים
- בְּרִירַת מֶחדָל
- דרישה
- לפרוס
- לתאר
- מְתוּאָר
- עיצוב
- שולחן העבודה
- למרות
- מְפוֹרָט
- קובע
- דיאלוג
- אחר
- מציג
- הפצה
- לא
- להורדה
- הורדות
- נהג
- נהגים
- בְּמַהֲלָך
- כל אחד
- מוקדם יותר
- קל לשימוש
- עורך
- מאמץ
- מוטבע
- לאפשר
- מאפשר
- מה שמאפשר
- מוצפן
- הצף
- מקצה לקצה
- נקודת קצה
- אנרגיה
- זן
- נכנס
- סביבה
- Ether (ETH)
- להעריך
- דוגמה
- מוציאים להורג
- קיימים
- לחקור
- חיצוני
- נוסף
- תמצית
- תמציות
- מוכר
- מהר
- מהר יותר
- מעטים
- שדה
- שלח
- קבצים
- סופי
- בסופו של דבר
- כספי
- а
- חומת אש
- ראשון
- גמישות
- להתמקד
- מרוכז
- לעקוב
- הבא
- כדלקמן
- פוּרמָט
- חופשי
- החל מ-
- מלא
- פונקציות
- יתר על כן
- עתיד
- ליצור
- נוצר
- מייצר
- גאוגרפיה
- לקבל
- גלוֹבָּלִי
- Google Cloud
- ירוק
- לטפל
- חומרה
- לעזור
- עזר
- עזרה
- עוזר
- כאן
- גָבוֹהַ
- פסים
- מאוד
- להחזיק
- עמוד הבית
- המארח
- שעות
- בית
- איך
- איך
- אולם
- HTML
- HTTPS
- ICON
- לזהות
- זהות
- ליישם
- in
- להגדיל
- להצביע
- בנפרד
- מידע
- קלט
- תובנות
- להתקין
- התקנה
- למשל
- הוראות
- אינטגרלי
- משלב
- אינטראקציה
- מִתעַרֵב
- התערבות
- סוגיה
- IT
- פריטים
- עבודה
- מקומות תעסוקה
- ג'סון
- מפתח
- סוג
- גָדוֹל
- בקנה מידה גדול
- האחרון
- לשגר
- השקות
- שכבה
- לִלמוֹד
- מאפשר לי
- רמה
- מגבלות
- לינוקס
- רשימה
- ברשימה
- האזנה
- לִטעוֹן
- מקומי
- מיקום
- מכונה
- עשוי
- ראשי
- הרוב
- לעשות
- עושה
- לנהל
- ניהול
- מנהל
- ניהול
- מדריך ל
- באופן ידני
- רב
- משמעותי
- בינוני
- פוגשת
- תפריט
- שיטות
- מיקרוסופט
- Microsoft Windows
- יכול
- נודד
- הֲגִירָה
- ML
- מודלים
- מודרני
- לְחַדֵשׁ
- צג
- יותר
- רוב
- המהלך
- MSI
- מספר
- שם
- שמות
- שמות
- נווט
- ניווט
- צורך
- חדש
- הבא
- יַקִיר
- מספר
- אובייקט
- אובייקטים
- המיוחדות שלנו
- ONE
- נפתח
- פועל
- מערכת הפעלה
- מטב
- אחר
- אַחֶרֶת
- חבילה
- זגוגית
- לוח
- מקביל
- שותפים
- עבר
- לוהט
- סיסמה
- נתיב
- תשלום
- שִׂיא
- לבצע
- ביצועים
- מבצע
- תכנית
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- נקודה
- אפשרי
- הודעה
- פוטנציאל
- פרקטיקות
- צפוי
- התחזיות
- תנאים מוקדמים
- מוצג
- קוֹדֶם
- פְּרָטִי
- נהלים
- תהליך
- הפקה
- תָכְנִית
- התקדמות
- פּרוֹיֶקט
- פרויקטים
- לספק
- מספק
- גם
- שאלה
- מהירות
- רכס
- להבין
- להמליץ
- המלצות
- מוּמלָץ
- שיא
- Red
- מפחית
- משתקף
- באזור
- הירשם
- קָשׁוּר
- עיתונות
- שְׂרִידִים
- לחזור על
- להחליף
- החליף
- משוכפל
- לדווח
- דוחות לדוגמא
- מייצג
- בקשות
- לדרוש
- נדרש
- מִתאוֹשֵׁשׁ מַהֵר
- משאבים
- גמילה
- עשיר
- לחץ לחיצה ימנית על
- תפקיד
- תפקידים
- שׁוּרָה
- כללי
- הפעלה
- אותו
- להרחבה
- סולם
- מאזניים
- דרוג
- סריקה
- מדע
- מדענים
- סקריפטים
- בצורה חלקה
- שניות
- סעיף
- מגזר
- לבטח
- אבטחה
- בחירה
- רגיש
- ללא שרת
- שרות
- שירותים
- סט
- סטים
- הצבה
- הגדרות
- כמה
- משותף
- שיתוף
- צריך
- לְהַצִיג
- הופעות
- סִימָן
- פָּשׁוּט
- יחיד
- מידה
- תמונת בזק
- So
- פִּתָרוֹן
- פתרונות
- כמה
- מָקוֹר
- מומחה
- מְהִירוּת
- הוצאה
- לפצל
- ספורט
- SSL
- בימוי
- התחלה
- החל
- התחלות
- הצהרות
- סטטיסטי
- סטטיסטיקה
- מצב
- שלב
- צעדים
- עצור
- אחסון
- חנות
- מאוחסן
- חנויות
- הצלחה
- בהצלחה
- כזה
- סוּפֶּר
- מתג
- מערכת
- שולחן
- לקחת
- לוקח
- יעד
- המשימות
- טכני
- טכנולוגיה
- מסוף
- השמיים
- המקור
- שֶׁלָהֶם
- צד שלישי
- שְׁלוֹשָׁה
- זמן
- פִּי
- ל
- סובלנות
- כלי
- כלים
- מסורתי
- רכבת
- לשנות
- נָכוֹן
- סומך
- תחת
- בְּסִיסִי
- להבין
- ייחודי
- נוֹהָג
- להשתמש
- משתמש
- משתמשים
- לְאַמֵת
- תוקף
- בעל ערך
- ערך
- ערכים
- מוכר
- ספקים
- לאמת
- גרסה
- לצפיה
- נופים
- וירטואלי
- בהדרכה
- אזהרה
- אינטרנט
- מה
- אשר
- בזמן
- רחב יותר
- יצטרך
- חלונות
- בתוך
- לְלֹא
- קבוצת עבודה
- עובד
- עובד
- תחנת עבודה
- היה
- לכתוב
- כתוב
- זפירנט