בעולם מונע הנתונים של היום, היכולת להעביר ולנתח נתונים ללא מאמץ על פני פלטפורמות מגוונות היא חיונית. אמזון AppFlow, שירות שילוב נתונים מנוהל במלואו, נמצא בחזית ייעול העברת הנתונים בין שירותי AWS, יישומי תוכנה כשירות (SaaS), וכעת Google BigQuery. בפוסט זה בבלוג, אתה בוחן את החדש מחבר Google BigQuery ב-Amazon AppFlow וגלה כיצד זה מפשט את תהליך העברת הנתונים ממחסן הנתונים של גוגל אל שירות אחסון פשוט של אמזון (Amazon S3), מתן יתרונות משמעותיים לאנשי מקצוע וארגונים נתונים, כולל דמוקרטיזציה של גישה לנתונים מרובי עננים.
סקירה כללית של Amazon AppFlow
אמזון AppFlow הוא שירות אינטגרציה מנוהל במלואו שבו אתה יכול להשתמש כדי להעביר נתונים בצורה מאובטחת בין יישומי SaaS כגון Google BigQuery, Salesforce, SAP, Hubspot ו-ServiceNow, ושירותי AWS כגון Amazon S3 ו האדום של אמזון, בכמה קליקים בלבד. עם Amazon AppFlow, אתה יכול להפעיל זרימות נתונים כמעט בכל קנה מידה בתדירות שתבחר - בלוח זמנים, בתגובה לאירוע עסקי או לפי דרישה. אתה יכול להגדיר יכולות של טרנספורמציה של נתונים כגון סינון ואימות ליצירת נתונים עשירים ומוכנים לשימוש כחלק מהזרימה עצמה, ללא שלבים נוספים. Amazon AppFlow מצפין אוטומטית נתונים בתנועה, ומאפשר לך להגביל את זרימת הנתונים דרך האינטרנט הציבורי עבור יישומי SaaS המשולבים עם AWS PrivateLink, צמצום החשיפה לאיומי אבטחה.
היכרות עם מחבר Google BigQuery
DELETE THIS מחבר Google BigQuery באמזון AppFlow חושפת אפשרויות לארגונים המבקשים להשתמש ביכולת האנליטית של מחסן הנתונים של גוגל, ולשלב ללא מאמץ, לנתח, לאחסן או לעבד נתונים מ-BigQuery, ולהפוך אותם לתובנות ניתנות לפעולה.
אדריכלות
בואו נסקור את הארכיטקטורה להעברת נתונים מ-Google BigQuery לאמזון S3 באמצעות Amazon AppFlow.
- בחר מקור נתונים: ב אמזון AppFlow, בחר ב-Google BigQuery כמקור הנתונים שלך. ציין את הטבלאות או מערכי הנתונים שמהם ברצונך לחלץ נתונים.
- מיפוי שדה וטרנספורמציה: הגדר את העברת הנתונים באמצעות הממשק החזותי האינטואיטיבי של Amazon AppFlow. אתה יכול למפות שדות נתונים ולהחיל טרנספורמציות לפי הצורך כדי להתאים את הנתונים לדרישות שלך.
- תדירות העברה: קבע באיזו תדירות ברצונך להעביר נתונים - כגון יומי, שבועי או חודשי - תמיכה בגמישות ובאוטומציה.
- יעד: ציין דלי S3 כיעד עבור הנתונים שלך. Amazon AppFlow יעביר את הנתונים ביעילות, ויהפוך אותם לנגישים באחסון Amazon S3 שלך.
- צריכה: שימוש אמזונה אתנה לנתח את הנתונים באמזון S3.
תנאים מוקדמים
מערך הנתונים המשמש בפתרון זה נוצר על ידי סינתיאה, סימולטור סינתטי של אוכלוסיית חולים ופרויקט פתוח תחת ה רישיון אפאצ'י 2.0. טען נתונים אלה ל-Google BigQuery או השתמש במערך הנתונים הקיים שלך.
חבר את Amazon AppFlow לחשבון Google BigQuery שלך
עבור פוסט זה, אתה משתמש בחשבון Google, לקוח OAuth עם הרשאות מתאימות ונתוני Google BigQuery. כדי לאפשר גישת Google BigQuery מאמזון AppFlow, עליך להגדיר לקוח OAuth חדש מראש. להנחיות, ראה מחבר Google BigQuery עבור Amazon AppFlow.
הגדר את Amazon S3
כל חפץ באמזון S3 מאוחסן בדלי. לפני שתוכל לאחסן נתונים באמזון S3, אתה חייב צור דלי S3 כדי לאחסן את התוצאות.
צור דלי S3 חדש לתוצאות של Amazon AppFlow
כדי ליצור דלי S3, השלם את השלבים הבאים:
- במסוף ניהול AWS עבור אמזון S3, בחר צור דלי.
- הזן ייחודי עולמי שם לדלי שלך; לדוגמה,
appflow-bq-sample
. - בחרו צור דלי.
צור דלי S3 חדש לתוצאות של אמזון אתנה
כדי ליצור דלי S3, השלם את השלבים הבאים:
- במסוף ניהול AWS עבור אמזון S3, בחר צור דלי.
- הזן ייחודי עולמי שם לדלי שלך; לדוגמה,
athena-results
. - בחרו צור דלי.
תפקיד משתמש (תפקיד IAM) עבור AWS Glue Data Catalog
כדי לקטלג את הנתונים שאתה מעביר עם הזרימה שלך, עליך להיות בעל תפקיד המשתמש המתאים AWS זהות וניהול גישה (IAM). אתה מספק את התפקיד הזה לאמזון AppFlow כדי להעניק את ההרשאות הדרושות לה כדי ליצור קטלוג נתוני דבק של AWS, טבלאות, מסדי נתונים ומחיצות.
לדוגמה למדיניות IAM שיש לה את ההרשאות הנדרשות, ראה דוגמאות למדיניות מבוססת זהות עבור Amazon AppFlow.
הדרכה על העיצוב
כעת, בואו נעבור על מקרה שימוש מעשי כדי לראות כיצד פועל מחבר Amazon AppFlow Google BigQuery לאמזון S3. במקרה השימוש, תשתמש ב-Amazon AppFlow כדי לאחסן נתונים היסטוריים מ-Google BigQuery ל-Amazon S3 לניתוח אחסון לטווח ארוך.
הגדר את Amazon AppFlow
צור זרימת Amazon AppFlow חדשה להעברת נתונים מ-Google Analytics לאמזון S3.
- על קונסולת אמזון AppFlow, בחר צור זרימה.
- הזן שם לזרימה שלך; לדוגמה,
my-bq-flow
. - הוסף הכרחי תגים; למשל, עבור מפתח להיכנס
env
ועבור ערך להיכנסdev
.
- בחרו הַבָּא.
- בעד שם המקור, בחר BigQuery של גוגל.
- בחרו צור קשר חדש.
- הזן את ה-OAuth שלך זיהוי הלקוח ו סוד הלקוח, ואז שם לחיבור שלך; לדוגמה,
bq-connection
.
- בחלון המוקפץ, בחר לאפשר ל-amazon.com גישה ל-Google BigQuery API.
- בעד בחר אובייקט Google BigQuery, בחר טבלתי.
- בעד בחר אובייקט משנה של Google BigQuery, בחר BigQueryProjectName.
- בעד בחר אובייקט משנה של Google BigQuery, בחר שם מסד נתונים.
- בעד בחר אובייקט משנה של Google BigQuery, בחר Tablename.
- בעד שם יעד, בחר אמזון S3.
- בעד פרטי דלי, בחר את הדלי של Amazon S3 שיצרת לאחסון תוצאות Amazon AppFlow בדרישות המוקדמות.
- זן
raw
בתור קידומת.
- לאחר מכן, ספק קטלוג נתוני דבק של AWS הגדרות ליצירת טבלה לניתוח נוסף.
- בחר תפקיד משתמש (תפקיד IAM) נוצר בתנאים המוקדמים.
- יצירה חדשה מסד נתונים לדוגמה,
healthcare
. - לספק לוח קידומת הגדרה למשל,
bq
.
- בחר הפעל לפי דרישה.
- בחרו הבא.
- בחר מיפוי ידני של שדות.
- בחר בששת השדות הבאים עבור שם שדה המקור מהשולחן אלרגיות:
- הַתחָלָה
- חולה
- קופונים
- תיאור
- סוּג
- קטגוריה
- בחרו מפה שדות ישירות.
- בחרו הַבָּא.
- In הוספה מסננים סעיף, בחר הַבָּא.
- בחרו צור זרימה.
הפעל את הזרימה
לאחר יצירת הזרימה החדשה שלך, תוכל להפעיל אותו לפי דרישה.
- על קונסולת אמזון AppFlow, בחר
my-bq-flow
. - בחרו הפעל זרימה.
עבור הדרכה זו, בחר הפעל את העבודה לפי דרישה כדי להקל על ההבנה. בפועל, אתה יכול לבחור עבודה מתוזמנת ולחלץ מעת לעת רק נתונים חדשים שנוספו.
שאילתה דרך אמזון אתנה
כאשר אתה בוחר בהגדרות האופציונליות של AWS Glue Data Catalog, Data Catalog יוצר את הקטלוג עבור הנתונים, ומאפשר לאמזון אתנה לבצע שאילתות.
אם תתבקש להגדיר מיקום תוצאות שאילתה, נווט אל הגדרות לחץ על הכרטיסייה ובחר ניהול. תַחַת ניהול הגדרות, בחר את דלי התוצאות של Athena שנוצר בדרישות מוקדמות ובחר שמור.
- על קונסולת אמזון אתנה, בחר את מקור הנתונים כ
AWSDataCatalog
. - לאחר מכן, בחר מסד נתונים as
healthcare
. - כעת תוכל לבחור את הטבלה שנוצרה על ידי סורק הדבק של AWS ולהציג אותה בתצוגה מקדימה.
- אתה יכול גם להפעיל שאילתה מותאמת אישית כדי למצוא את 10 האלרגיות המובילות כפי שמוצג בשאילתה הבאה.
הערות: בשאילתה למטה, החלף את שם הטבלה, במקרה זה bq_appflow_mybqflow_1693588670_latest
, עם שם הטבלה שנוצרה בחשבון AWS שלך.
- בחרו הפעל שאילתה.
תוצאה זו מציגה את 10 האלרגיות המובילות לפי מספר המקרים.
לנקות את
כדי להימנע מחיובים, נקה את המשאבים בחשבון AWS שלך על ידי השלמת השלבים הבאים:
- במסוף AppFlow של אמזון בחר זורם בחלונית הניווט.
- מרשימת הזרימות, בחר את הזרימה
my-bq-flow
, ולמחוק אותו. - הכנס למחוק כדי למחוק את הזרימה.
- בחרו חיבורי בחלונית הניווט.
- בחרו BigQuery של גוגל מרשימת המחברים, בחר
bq-connector
, ולמחוק אותו. - הכנס למחוק כדי למחוק את המחבר.
- במסוף IAM בחר תפקידים בדף הניווט, ולאחר מכן בחר את התפקיד שיצרת עבור סורק AWS Glue ומחק אותו.
- בקונסולת אמזון אתנה:
- מחק את הטבלאות שנוצרו תחת מסד הנתונים
healthcare
באמצעות AWS Glue Crawler. - זרוק את מסד הנתונים
healthcare
- מחק את הטבלאות שנוצרו תחת מסד הנתונים
- בקונסולת Amazon S3, חפש את דלי התוצאות של Amazon AppFlow שיצרת, בחר ריק כדי למחוק את האובייקטים, ואז למחוק את הדלי.
- בקונסולת Amazon S3, חפש את דלי התוצאות של Amazon Athena שיצרת, בחר ריק כדי למחוק את האובייקטים, ואז למחוק את הדלי.
- נקה משאבים בחשבון Google שלך על ידי מחיקת הפרויקט שמכיל את משאבי Google BigQuery. עקוב אחר התיעוד ל לנקות את משאבי Google.
סיכום
מחבר Google BigQuery ב-Amazon AppFlow מייעל את תהליך העברת הנתונים ממחסן הנתונים של גוגל לאמזון S3. אינטגרציה זו מפשטת ניתוח ולמידת מכונה, אחסון בארכיון ואחסון לטווח ארוך, ומספקת יתרונות משמעותיים לאנשי מקצוע נתונים וארגונים המבקשים לרתום את היכולות האנליטיות של שתי הפלטפורמות.
עם Amazon AppFlow, המורכבות של שילוב הנתונים מתבטלת, מה שמאפשר לך להתמקד בהפקת תובנות ניתנות לפעולה מהנתונים שלך. בין אם אתם מאחסנים נתונים היסטוריים, מבצעים ניתוחים מורכבים או מכינים נתונים ללמידת מכונה, המחבר הזה מפשט את התהליך, והופך אותו לנגיש למגוון רחב יותר של אנשי מקצוע בתחום הנתונים.
אם אתה מעוניין לראות כיצד העברת הנתונים מ-Google BigQuery לאמזון S3 באמצעות Amazon AppFlow, תסתכל על שלב אחר שלב וידאו של מורה. במדריך זה, אנו עוברים על כל התהליך, מהגדרת החיבור ועד להפעלת זרימת העברת הנתונים. למידע נוסף על Amazon AppFlow, בקר אמזון AppFlow.
על המחברים
קרטיקאי ח'טור הוא אדריכל פתרונות בנושא מדעי החיים העולמיים בשירותי האינטרנט של אמזון. הוא נלהב לעזור ללקוחות במסע הענן שלהם תוך התמקדות בשירותי ניתוח של AWS. הוא רץ נלהב ונהנה לטייל.
קאמן שרלנדייב הוא Sr. Big Data ו-ETL Solutions Architect ומומחה של Amazon AppFlow. הוא במשימה להקל על החיים עבור לקוחות המתמודדים עם אתגרי אינטגרציית נתונים מורכבים. הנשק הסודי שלו? שירותי AWS מנוהלים במלואם ובעלי קוד נמוך שיכולים לבצע את העבודה במינימום מאמץ וללא קידוד.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/big-data/simplify-data-transfer-google-bigquery-to-amazon-s3-using-amazon-appflow/
- :יש ל
- :הוא
- $ למעלה
- 10
- 100
- 14
- 16
- 17
- 22
- 321
- 8
- 9
- a
- יכולת
- אודות
- גישה
- ניהול גישה
- נגיש
- חֶשְׁבּוֹן
- לרוחב
- להוסיף
- הוסיף
- נוסף
- לקדם
- ליישר
- אלרגיות
- להתיר
- מאפשר
- מאפשר
- גם
- אמזון בעברית
- אמזונה אתנה
- אמזון שירותי אינטרנט
- Amazon.com
- an
- אנליזה
- אנליטית
- ניתוח
- לנתח
- ו
- כל
- API
- יישומים
- החל
- מתאים
- ארכיטקטורה
- ארכיון
- ARE
- AS
- At
- באופן אוטומטי
- אוטומציה
- לְהִמָנַע
- AWS
- דבק AWS
- קונסולת הניהול של AWS
- היה
- לפני
- להלן
- הטבות
- בֵּין
- גָדוֹל
- נתונים גדולים
- bigquery
- בלוג
- שניהם
- רחב
- עסקים
- by
- CAN
- יכול לקבל
- יכולות
- יכולת
- מקרה
- מקרים
- קטלוג
- קטגוריה
- האתגרים
- חיובים
- בחרו
- לקוחות
- ענן
- סִמוּל
- COM
- להשלים
- מַשׁלִים
- מורכב
- מורכבות
- הקשר
- קונסול
- מכיל
- הסורק
- לִיצוֹר
- נוצר
- יוצר
- יוצרים
- מנהג
- לקוחות
- יומי
- נתונים
- גישה למידע
- שילוב נתונים
- מחסן נתונים
- נתונים מונחים
- מסד נתונים
- מאגרי מידע
- מערכי נתונים
- להחליט
- דרישה
- דמוקרטיזציה
- תיאור
- יעד
- לגלות
- שונה
- תיעוד
- עשה
- להקל
- קל יותר
- יעילות
- מאמץ
- ללא מאמץ
- בוטלו
- לאפשר
- מה שמאפשר
- שלם
- חיוני
- Ether (ETH)
- אירוע
- דוגמה
- דוגמאות
- קיימים
- מומחה
- לחקור
- חשיפה
- תמצית
- מול
- מעטים
- שדה
- שדות
- סינון
- גמישות
- תזרים
- זורם
- זורם
- להתמקד
- לעקוב
- הבא
- בעד
- בחזית
- תדר
- בתדירות גבוהה
- החל מ-
- לגמרי
- נוסף
- ליצור
- נוצר
- לקבל
- גלוֹבָּלִי
- ברחבי עולם
- Google Analytics
- גוגל
- להעניק
- קְבוּצָה
- רתמת
- יש
- he
- בריאות
- עזרה
- טיולים
- שֶׁלוֹ
- היסטורי
- איך
- HTML
- http
- HTTPS
- HubSpot
- IAM
- זהות
- ניהול זהות וגישה
- in
- כולל
- מידע
- תובנות
- הוראות
- לשלב
- משולב
- השתלבות
- מעוניין
- מִמְשָׁק
- אינטרנט
- אל תוך
- אינטואיטיבי
- IT
- עצמו
- עבודה
- מסע
- רק
- למידה
- רישיון
- החיים
- מדעי החיים
- להגביל
- רשימה
- לִטעוֹן
- מיקום
- לטווח ארוך
- נראה
- מכונה
- למידת מכונה
- לעשות
- עשייה
- הצליח
- ניהול
- מַפָּה
- מיפוי
- מינימלי
- משימה
- יותר
- תנועה
- המהלך
- צריך
- שם
- נווט
- ניווט
- כמעט
- הכרחי
- נחוץ
- צרכי
- חדש
- חדש
- לא
- עַכשָׁיו
- מספר
- oauth
- אובייקט
- אובייקטים
- of
- on
- On-Demand
- רק
- opensource
- or
- להזמין
- ארגונים
- יותר
- עמוד
- זגוגית
- חלק
- לוהט
- חולה
- לבצע
- ביצוע
- הרשאות
- פלטפורמות
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- מדיניות
- מוקפץ
- אוכלוסייה
- אפשרויות
- הודעה
- מעשי
- תרגול
- העריכה
- תנאים מוקדמים
- תצוגה מקדימה
- תהליך
- אנשי מקצוע
- פּרוֹיֶקט
- לספק
- מתן
- ציבורי
- שאילתות
- רכס
- הפחתה
- להחליף
- נדרש
- דרישות
- משאבים
- תגובה
- לְהַגבִּיל
- תוצאה
- תוצאות
- סקירה
- עשיר
- תפקיד
- הפעלה
- רץ
- ריצה
- SaaS
- כוח מכירות
- מוהל
- סולם
- לוח זמנים
- מתוכנן
- מדע
- חיפוש
- סוד
- סעיף
- מאובטח
- אבטחה
- איומים ביטחוניים
- לִרְאוֹת
- מחפשים
- שרות
- ServiceNow
- שירותים
- סט
- הצבה
- הגדרות
- הראה
- הופעות
- משמעותי
- פָּשׁוּט
- לפשט
- מדמה
- שישה
- תוכנה
- תוכנה כשירות
- פִּתָרוֹן
- פתרונות
- מָקוֹר
- צעדים
- אחסון
- חנות
- מאוחסן
- התייעלות
- כזה
- סינטטי
- שולחן
- לקחת
- זֶה
- השמיים
- שֶׁלָהֶם
- אז
- זֶה
- איומים
- דרך
- ל
- של היום
- חלק עליון
- 10 למעלה
- להעביר
- מעביר
- טרנספורמציה
- טרנספורמציות
- הפיכה
- הדרכה
- סוג
- תחת
- הבנה
- ייחודי
- חושף
- להשתמש
- במקרה להשתמש
- מְשׁוּמָשׁ
- משתמש
- באמצעות
- אימות
- ערך
- לְבַקֵר
- ללכת
- בהדרכה
- רוצה
- מחסן
- we
- אינטרנט
- שירותי אינטרנט
- שבועי
- אם
- מי
- יצטרך
- חלון
- עם
- לְלֹא
- עובד
- עוֹלָם
- אתה
- YouTube
- זפירנט