ניתוח נתונים אוטומטי (ADA) ב-AWS הוא פתרון AWS המאפשר לך להפיק תובנות משמעותיות מנתונים תוך דקות ספורות באמצעות ממשק משתמש פשוט ואינטואיטיבי. ADA מציעה פלטפורמת ניתוח נתונים מקורית של AWS שמוכנה לשימוש מחוץ לקופסה על ידי מנתחי נתונים עבור מגוון מקרי שימוש. עם ADA, צוותים יכולים להטמיע, לשנות, לשלוט ולשאול מערכי נתונים מגוונים ממגוון מקורות נתונים ללא צורך במיומנויות טכניות מומחים. ADA מספקת סט של מחברים מובנים מראש להטמיע נתונים ממגוון רחב של מקורות כולל שירות אחסון פשוט של אמזון (אמזון S3), זרמי נתונים של אמזון קינסי, אמזון CloudWatch, Amazon CloudTrail, ו אמזון דינמו כמו גם רבים אחרים.
ADA מספקת פלטפורמה בסיסית שיכולה לשמש מנתחי נתונים במגוון מקרי שימוש כולל IT, פיננסים, שיווק, מכירות ואבטחה. מחבר הנתונים CloudWatch היוצא מהקופסה של ADA מאפשר קליטת נתונים מיומני CloudWatch באותו חשבון AWS שבו נפרסה ADA, או מחשבון AWS אחר.
בפוסט זה, אנו מדגימים כיצד מפתח יישומים או בודק יישומים מסוגל להשתמש ב-ADA כדי להפיק תובנות תפעוליות של יישומים הפועלים ב-AWS. אנו גם מדגימים כיצד ניתן להשתמש בפתרון ADA כדי להתחבר למקורות נתונים שונים ב-AWS. אנחנו קודם לפרוס את פתרון ה-ADA לחשבון AWS ו להגדיר את פתרון ADA על ידי יצירה מוצרי נתונים באמצעות מחברי נתונים. לאחר מכן, אנו משתמשים ב-ADA Query Workbench כדי להצטרף למערכי הנתונים הנפרדים ולבצע שאילתות בנתונים המתואמים, באמצעות שפת שאילתות מובנית (SQL), כדי לקבל תובנות. אנו גם מדגימים כיצד ניתן לשלב ADA עם כלי בינה עסקית (BI) כגון Tableau כדי להמחיש את הנתונים ולבנות דוחות.
סקירת פתרונות
בחלק זה, אנו מציגים את ארכיטקטורת הפתרון עבור ההדגמה ומסבירים את זרימת העבודה. למטרות הדגמה, האפליקציה בהתאמה אישית מדמה באמצעות א AWS למבדה פונקציה שפולטת כניסות פורמט יומן אפאצ'י במרווח קבוע מראש באמצעות אמזון EventBridge. פורמט סטנדרטי זה יכול להיות מיוצר על ידי שרתי אינטרנט רבים ושונים ולהיקרא על ידי תוכניות רבות לניתוח יומנים. יומני האפליקציה (פונקציית Lambda) נשלחים לקבוצת יומנים של CloudWatch. יומני היישום ההיסטוריים מאוחסנים בדלי S3 לעיון ולמטרות שאילתות. טבלת חיפוש עם רשימה של קודי סטטוס HTTP יחד עם התיאורים מאוחסנים בטבלת DynamoDB. שלושת אלה משמשים כמקורות שמהם נקלטים נתונים ב-ADA לצורך מתאם, שאילתה וניתוח. אָנוּ לפרוס את פתרון ה-ADA לחשבון AWS ו להגדיר את ADA. לאחר מכן אנו יוצרים את מוצרי נתונים בתוך ADA עבור קבוצת יומן CloudWatch, דלי S3, ו דינמודב. כאשר מוצרי הנתונים מוגדרים, ADA מספקת צינורות נתונים כדי להטמיע את הנתונים מהמקורות. עם ADA Query Workbench, אתה יכול לבצע שאילתות בנתונים שנקלטו באמצעות SQL רגיל לצורך פתרון בעיות ביישום או אבחון בעיות.
התרשים הבא מספק סקירה כללית של הארכיטקטורה וזרימת העבודה של השימוש ב-ADA כדי לקבל תובנות על יומני יישומים.
זרימת העבודה כוללת את השלבים הבאים:
- פונקציית Lambda מתוכננת להיות מופעלת במרווחים של 2 דקות באמצעות EventBridge.
- פונקציית Lambda פולטת יומנים המאוחסנים בקבוצת יומן CloudWatch שצוינה תחת
/aws/lambda/CdkStack-AdaLogGenLambdaFunction
. יומני היישום נוצרים באמצעות סכימת ה-Apache Log Format אך מאוחסנים בקבוצת היומן של CloudWatch בפורמט JSON. - מוצרי הנתונים עבור CloudWatch, Amazon S3 ו-DynamoDB נוצרים ב-ADA. מוצר הנתונים של CloudWatch מתחבר לקבוצת היומנים של CloudWatch שבה מאוחסנים יומני האפליקציה (פונקציית Lambda). מחבר Amazon S3 מתחבר לתיקיית דלי S3 שבה מאוחסנים היומנים ההיסטוריים. מחבר DynamoDB מתחבר לטבלת DynamoDB שבה מאוחסנים קודי המצב המופנים על ידי היישום והיומנים ההיסטוריים.
- עבור כל אחד ממוצרי הנתונים, ADA פורס את תשתית צינור הנתונים כדי להטמיע נתונים מהמקורות. כאשר הטמעת הנתונים הושלמה, אתה יכול לכתוב שאילתות באמצעות SQL דרך ADA Query Workbench.
- אתה יכול להיכנס לפורטל ADA ולחבר שאילתות SQL מ-Query Workbench כדי לקבל תובנות על יומני היישומים. באפשרותך לשמור את השאילתה ולחלוק את השאילתה עם משתמשי ADA אחרים באותו תחום. תכונת השאילתה של ADA מופעלת על ידי אמזונה אתנה, שהוא שירות ניתוח אינטראקטיבי ללא שרת המספק דרך פשוטה וגמישה לנתח פטה-בייט של נתונים.
- Tableau מוגדר לגשת למוצרי נתוני ADA דרך נקודות קצה של ADA. לאחר מכן אתה יוצר לוח מחוונים עם שני תרשימים. התרשים הראשון הוא מפת חום המציגה את השכיחות של קודי שגיאה של HTTP בקורלציה עם נקודות הקצה של ה-API של האפליקציה. התרשים השני הוא תרשים עמודות המציג את 10 ממשקי ה-API המובילים של יישומים עם ספירה כוללת של קודי שגיאת HTTP מהנתונים ההיסטוריים.
תנאים מוקדמים
עבור פוסט זה, עליך להשלים את התנאים המוקדמים הבאים:
- התקן את ממשק שורת הפקודה של AWS (AWS CLI), ערכת פיתוח ענן AWS (AWS CDK) תנאים מוקדמים, ספציפי ל-TypeScript תנאים מוקדמים, ו סילון.
- לפרוס פתרון ADA בחשבון AWS שלך ב-
us-east-1
אזור.- ספק דוא"ל מנהל בזמן הפעלת ה-ADA AWS CloudFormation לַעֲרוֹם. זה נחוץ כדי ש-ADA ישלח את סיסמת משתמש השורש. נדרש מספר טלפון של מנהל כדי לקבל הודעת סיסמה חד פעמית אם אימות רב-גורמי (MFA) מופעל. עבור הדגמה זו, MFA אינו מופעל.
- בנה ופריסה את היישום לדוגמה (זמין ב- GitHub ריפו) פתרון כדי שניתן יהיה לספק את המשאבים הבאים בחשבון שלך ב-
us-east-1
איזור:- פונקציית Lambda המדמה את אפליקציית הרישום וכלל EventBridge שמפעיל את פונקציית האפליקציה במרווחים של 2 דקות.
- דלי S3 עם מדיניות ה-bucket הרלוונטית וקובץ CSV המכיל את יומני היישומים ההיסטוריים.
- טבלת DynamoDB עם נתוני הבדיקה.
- דיווח AWS זהות וניהול גישה (IAM) תפקידים והרשאות הנדרשים עבור השירותים.
- אופציונלי, התקן שולחן עבודה של טבלה, ספק BI של צד שלישי. עבור פוסט זה, אנו משתמשים בגרסה 2021.2 של Tableau Desktop. יש עלות כרוכה בשימוש בגרסה מורשית של היישום Tableau Desktop. לפרטים נוספים, עיין ב רישוי טבלה מידע.
פרוס והגדר ADA
לאחר פריסת ADA בהצלחה, אתה יכול התחבר באמצעות דוא"ל המנהל שסופק במהלך ההתקנה. לאחר מכן אתה יוצר א תחום בשם CW_Domain
. דומיין הוא אוסף המוגדר על ידי המשתמש של מוצרי נתונים. לדוגמה, תחום יכול להיות צוות או פרויקט. דומיינים מספקים דרך מובנית למשתמשים לארגן את מוצרי הנתונים שלהם ולנהל הרשאות גישה.
- במסוף ADA, בחר תחומים בחלונית הניווט.
- בחרו צור דומיין.
- הכנס שם (
CW_Domain
) ותיאור, ולאחר מכן בחר חפש.
הגדר את תשתית היישום לדוגמה באמצעות AWS CDK
פתרון AWS CDK שפורס את אפליקציית ההדגמה מתארח ב GitHub. השלבים לשיבוט ה-repo ולהגדרת פרויקט AWS CDK מפורטים בסעיף זה. לפני שתפעיל את הפקודות האלה, הקפד לעשות זאת להגדיר תעודות ה-AWS שלך. צור תיקיה, פתח את הטרמינל ונווט לתיקיה שבה צריך להתקין את פתרון ה-AWS CDK. הפעל את הקוד הבא:
שלבים אלה מבצעים את הפעולות הבאות:
- התקן את תלות הספרייה
- בנה את הפרויקט
- צור תבנית CloudFormation חוקית
- פרוס את המחסנית באמצעות AWS CloudFormation בחשבון AWS שלך
הפריסה אורכת בערך 1-2 דקות ויוצרת את טבלת החיפוש של DynamoDB, פונקציית Lambda ודלי S3 המכילים את קובצי היומן ההיסטוריים כפלטים. העתק ערכים אלה ליישום לעריכת טקסט, כגון פנקס רשימות.
צור מוצרי נתונים של ADA
אנו יוצרים שלושה מוצרי נתונים שונים עבור הדגמה זו, אחד עבור כל מקור נתונים שתשאלו כדי לקבל תובנות תפעוליות. מוצר נתונים הוא מערך נתונים (אוסף של נתונים כגון טבלה או קובץ CSV) שיובאו בהצלחה ל-ADA וניתן לבצע שאילתה.
צור מוצר נתונים של CloudWatch
ראשית, אנו יוצרים מוצר נתונים עבור יומני היישומים על ידי הגדרת ADA להטמעת קבוצת היומן של CloudWatch עבור היישום לדוגמה (פונקציית Lambda). להשתמש ב CdkStack.LambdaFunction
פלט כדי לקבל את פונקציית Lambda ARN ולאתר את קבוצת היומן המתאימה של CloudWatch ARN בקונסולת CloudWatch.
לאחר מכן השלם את השלבים הבאים:
- במסוף ADA, נווט לתחום ADA וצור מוצר נתונים של CloudWatch.
- בעד שםהכנס שם.
- בעד סוג מקור, לבחור אמזון CloudWatch.
- שבת PII אוטומטי.
ל-ADA יש תכונה המזהה באופן אוטומטי נתוני מידע זיהוי אישי (PII) במהלך הייבוא, המופעלת כברירת מחדל. עבור הדגמה זו, אנו משביתים אפשרות זו עבור מוצר הנתונים מכיוון שגילוי נתוני PII אינו בהיקף של הדגמה זו.
- בחרו הַבָּא.
- חפש ובחר את קבוצת היומן של CloudWatch ARN שהועתקה מהשלב הקודם.
- העתק את קבוצת היומן ARN.
- בדף מוצר הנתונים, הזן את קבוצת היומן ARN.
- בעד שאילתת CloudWatch, הזן שאילתה שאתה רוצה ש-ADA תקבל מקבוצת היומן.
בהדגמה זו, אנו שולטים בשדה @message מכיוון שאנו מעוניינים לקבל את יומני היישומים מקבוצת היומן.
- בחר כיצד עדכוני הנתונים יופעלו לאחר הייבוא הראשוני.
ניתן להגדיר את ה-ADA להטמיע את הנתונים מהמקור במרווחי זמן גמישים (עד 15 דקות או מאוחר יותר) או לפי דרישה. עבור ההדגמה, הגדרנו את עדכוני הנתונים כך שיפעלו מדי שעה.
- בחרו הַבָּא.
לאחר מכן, ADA יתחבר לקבוצת היומן ותשאל את הסכימה. מכיוון שהלוגים הם בפורמט יומן Apache, אנו הופכים את היומנים לשדות נפרדים כדי שנוכל להריץ שאילתות בשדות היומן הספציפיים. ADA מספק ארבעה ברירת מחדל טרנספורמציות ותומך בטרנספורמציה מותאמת אישית באמצעות סקריפט Python. בהדגמה זו, אנו מריצים סקריפט Python מותאם אישית כדי להפוך את שדה הודעת JSON לשדות בפורמט יומן Apache.
- בחרו שינוי סכימה.
- בחרו צור טרנספורמציה חדשה.
- העלה את ה-
apache-log-extractor-transform.py
תסריט מתוך/asset/transform_logs/
תיקייה. - בחרו חפש.
ADA תשנה את יומני CloudWatch באמצעות הסקריפט ותציג את הסכימה המעובדת.
- בחרו הַבָּא.
- בשלב האחרון, סקור את השלבים ובחר חפש.
ADA תתחיל את עיבוד הנתונים, תיצור את צינורות הנתונים ותכין את קבוצות היומן של CloudWatch לשאילתות מ-Query Workbench. תהליך זה ייקח מספר דקות להשלמתו והוא יוצג במסוף ADA מתחת מוצרי נתונים.
צור מוצר נתונים של Amazon S3
אנו חוזרים על השלבים כדי להוסיף את היומנים ההיסטוריים ממקור הנתונים של Amazon S3 ולחפש נתוני התייחסות מטבלת DynamoDB. עבור שני מקורות הנתונים האלה, אנחנו לא יוצרים טרנספורמציות מותאמות אישית מכיוון שפורמטי הנתונים הם ב-CSV (עבור יומנים היסטוריים) ובמאפייני מפתח (לצורך נתוני בדיקת מידע).
- במסוף ADA, צור מוצר נתונים חדש.
- הכנס שם (
hist_logs
) ובחר אמזון S3. - העתק את ה-URI של Amazon S3 (הטקסט שאחרי
arn:aws:s3:::
) מ הCdkStack.S3
משתנה פלט ונווט לקונסולת Amazon S3. - בתיבת החיפוש, הזן את הטקסט שהועתק, פתח את דלי S3, בחר את
/logs
תיקיה ובחר העתק S3 URI.
היומנים ההיסטוריים מאוחסנים בנתיב זה.
- נווט חזרה למסוף ADA והזן את ה-URI של S3 שהועתק עבור מיקום S3.
- בעד עדכן טריגר, בחר לפי דרישה כי היומנים ההיסטוריים מתעדכנים בתדירות לא מוגדרת.
- בעד עדכון מדיניות, בחר צרף כדי להוסיף נתונים שיובאו לאחרונה לנתונים הקיימים.
- בחרו הַבָּא.
ADA מעבד את הסכימה עבור הקבצים בנתיב התיקיות שנבחר. מכיוון שהיומנים הם בפורמט CSV, ADA מסוגלת לקרוא את שמות העמודות ללא צורך בשינויים נוספים. עם זאת, העמודות status_code
ו request_size
מסקנות כסוג ארוך על ידי ADA. אנו רוצים לשמור על עקביות סוגי נתוני העמודות בין מוצרי הנתונים כדי שנוכל להצטרף לטבלאות הנתונים ולשאול את הנתונים. העמוד status_code
ישמש ליצירת חיבורים על פני טבלאות הנתונים.
- בחרו שינוי סכימה כדי לשנות את סוגי הנתונים של שתי העמודות לסוג נתוני מחרוזת.
שימו לב לשמות העמודות המודגשות ב- תצוגה מקדימה של סכימה חלונית לפני החלת ההמרה של סוגי הנתונים.
- ב שינוי תוכנית חלונית, מתחת טרנספורמציות מובנות, בחר החל מיפוי.
אפשרות זו מאפשרת לך לשנות את סוג הנתונים מסוג אחד לאחר.
- ב החל מיפוי סעיף, בטל את הבחירה זרוק שדות אחרים.
אם אפשרות זו לא מושבתת, רק העמודות שעברו שינוי יישמרו וכל העמודות האחרות יוסרו. מכיוון שאנו רוצים לשמור את כל העמודות, אנו משביתים את האפשרות הזו.
- תַחַת מיפוי שדותל שם ישן ו שם חדש, להיכנס
status_code
ועבור סוג חדש, להיכנסstring
. - בחרו הוסף פריט.
- בעד שם ישן ו שם חדש¸ הזן request_size ועבור סוג נתונים חדש, הזן מחרוזת.
- בחרו חפש.
ADA תחיל את שינוי המיפוי על מקור הנתונים של Amazon S3. שימו לב לסוגי העמודות ב- תצוגה מקדימה של סכימה שִׁמשָׁה.
- בחרו ראה מדגם כדי להציג את הנתונים בתצוגה מקדימה עם השינוי שהוחל.
ADA יציג את האישור לנתוני PII כדי להבטיח שרק משתמשים מורשים יכולים להציג את הנתונים או שמערך הנתונים אינו מכיל נתוני PII.
- בחרו להסכים כדי להמשיך ולצפות בנתונים לדוגמה.
שימו לב שהסכימה זהה לסכימת קבוצת היומן של CloudWatch מכיוון שגם האפליקציה הנוכחית וגם יומני היישומים ההיסטוריים נמצאים בפורמט יומן Apache.
- בשלב האחרון, סקור את התצורה ובחר חפש.
ADA מתחילה לעבד את הנתונים ממקור Amazon S3, יוצרת את תשתית הקצה האחורי ומכינה את מוצר הנתונים. תהליך זה אורך מספר דקות בהתאם לגודל הנתונים.
צור מוצר נתונים של DynamoDB
לבסוף, אנו יוצרים מוצר נתונים של DynamoDB. השלם את השלבים הבאים:
- במסוף ADA, צור מוצר נתונים חדש.
- הכנס שם (
lookup
) ובחר אמזון דינמו. - הזן
Cdk.DynamoDBTable
משתנה פלט עבור טבלת DynamoDB ARN.
טבלה זו מכילה תכונות מפתח שישמשו כטבלת חיפוש בהדגמה זו. עבור נתוני חיפוש, אנו משתמשים בקודי HTTP ובתיאורים ארוכים וקצרים של הקודים. אתה יכול גם להשתמש ב-PostgreSQL, MySQL או מקור קובץ CSV כחלופה.
- בעד עדכן טריגר, בחר On-Demand.
העדכונים יהיו לפי דרישה מכיוון שהחיפוש נועד בעיקר למטרת התייחסות בזמן שאילתה וכל עדכונים לנתוני הבדיקה יכולים להתעדכן ב-ADA באמצעות טריגרים לפי דרישה.
- בחרו הַבָּא.
ADA קורא את הסכימה מסכימת DynamoDB הבסיסית ומציגה את שם העמודה והסוג עבור טרנספורמציה אופציונלית. נמשיך עם בחירת סכמת ברירת המחדל מכיוון שסוגי העמודות תואמים לסוגים מקבוצת היומן של CloudWatch ומקור הנתונים של Amazon S3 CSV. קיום סוגי נתונים עקביים בכל מקורות הנתונים מאפשר לנו לכתוב שאילתות כדי להביא רשומות על ידי הצטרפות לטבלאות באמצעות שדות העמודות. לדוגמה, העמודה key
בסכימת DynamoDB מתאימה ל- status_code
במוצרי הנתונים של Amazon S3 ו-CloudWatch. אנו יכולים לכתוב שאילתות שיכולות להצטרף לשלוש הטבלאות באמצעות שם העמודה key
. דוגמה מוצגת בסעיף הבא.
- בחרו המשך עם הסכימה הנוכחית.
- סקור את התצורה ובחר חפש.
ADA תעבד את הנתונים ממקור הנתונים בטבלת DynamoDB ותכין את מוצר הנתונים. בהתאם לגודל הנתונים, תהליך זה אורך מספר דקות.
כעת יש לנו את כל שלושת מוצרי הנתונים המעובדים על ידי ADA וזמינים עבורך להרצת שאילתות.
השתמש ב-Query Workbench כדי לבצע שאילתה על הנתונים
ADA מאפשר לך להריץ שאילתות מול מוצרי הנתונים תוך הפשטת מקור הנתונים והנגשתו באמצעות SQL (Structured Query Language). אתה יכול לכתוב שאילתות ולהצטרף לטבלאות בדיוק כפי שהיית עושה שאילתה מול טבלאות במסד נתונים יחסי. אנו מדגימים את יכולת השאילתות של ADA באמצעות שני תרחישים של משתמשים. בשני התרחישים, אנו מצטרפים מערך נתונים של יומן יישומים לטבלת בדיקת קודי השגיאה. במקרה השימוש הראשון, אנו מבצעים שאילתות ביומני היישומים הנוכחיים כדי לזהות את 10 נקודות הקצה המובילות של האפליקציה שהגישה אליהן הכי הרבה, יחד עם קודי מצב ה-HTTP המתאימים:
בדוגמה השנייה, אנו מבצעים שאילתה בטבלת היומנים ההיסטוריים כדי לקבל את 10 נקודות הקצה המובילות של היישום עם הכי הרבה שגיאות כדי להבין את דפוס הקריאה לנקודת הקצה:
בנוסף לשאילתה, באפשרותך לשמור את השאילתה ולחלוק את השאילתה השמורה עם משתמשים אחרים באותו תחום. השאילתות המשותפות נגישות ישירות מ-Query Workbench. ניתן לייצא את תוצאות השאילתה גם לפורמט CSV.
דמיין מוצרי נתונים של ADA ב-Tableau
ADA מציעה את היכולת לְחַבֵּר לכלי BI של צד שלישי כדי להמחיש נתונים וליצור דוחות ממוצרי הנתונים של ADA. בהדגמה זו, אנו משתמשים באינטגרציה המקורית של ADA עם Tableau כדי להמחיש את הנתונים משלושת מוצרי הנתונים שהגדרנו קודם לכן. שימוש במחבר Athena של Tableau וביצוע השלבים ב תצורת טבלה, תוכל להגדיר את ADA כמקור נתונים ב-Tableau. לאחר שנוצר חיבור מוצלח בין Tableau ל-ADA, Tableau תאכלס את שלושת מוצרי הנתונים תחת קטלוג Tableau cw_domain
.
לאחר מכן, אנו יוצרים קשר בין שלושת מסדי הנתונים תוך שימוש בקוד מצב HTTP כעמודת ההצטרפות, כפי שמוצג בצילום המסך הבא. Tableau מאפשר לנו לעבוד במצב מקוון ולא מקוון עם מקורות הנתונים. במצב מקוון, Tableau תתחבר ל-ADA ותבצע שאילתות על מוצרי הנתונים בזמן אמת. במצב לא מקוון, אנו יכולים להשתמש ב- להוציא אפשרות לחלץ את הנתונים מ-ADA ולייבא את הנתונים ל-Tableau. בהדגמה זו, אנו מייבאים את הנתונים ל-Tableau כדי להפוך את השאילתה למגיב יותר. לאחר מכן אנו שומרים את חוברת העבודה Tableau. אנו יכולים לבדוק את הנתונים ממקורות הנתונים על ידי בחירת מסד הנתונים ו עדכון עכשיו.
עם תצורות מקור הנתונים ב-Tableau, אנו יכולים ליצור דוחות, תרשימים והמחשות מותאמות אישית על מוצרי הנתונים של ADA. הבה נבחן שני מקרי שימוש להדמיות.
כפי שמוצג באיור הבא, דמיינו את התדירות של שגיאות ה-HTTP לפי נקודות קצה של יישומים באמצעות ה-Tableau המובנה מפת חום טבלה. סיננו את קודי מצב ה-HTTP כך שיכללו רק קודי שגיאה בטווח 4xx ו-5xx.
יצרנו גם תרשים עמודות כדי לתאר את נקודות הקצה של האפליקציה מהיומנים ההיסטוריים לפי ספירת קודי השגיאה של HTTP. בתרשים זה, אנו יכולים לראות כי /v1/server/admin
נקודת הקצה יצרה הכי הרבה קודי מצב שגיאת HTTP.
לנקות את
ניקוי תשתית היישום לדוגמה הוא תהליך בן שני שלבים. ראשית, כדי להסיר את התשתית שסופקה למטרות הדגמה זו, הפעל את הפקודה הבאה בטרמינל:
עבור השאלה הבאה, הזן y ו-AWS CDK תמחק את המשאבים שנפרסו עבור ההדגמה:
לחלופין, אתה יכול להסיר את המשאבים דרך מסוף AWS CloudFormation על ידי ניווט אל מחסנית CdkStack ובחירה מחק.
השלב השני הוא הסרת ההתקנה של ADA. להנחיות, עיין ב הסר את הפתרון.
סיכום
בפוסט זה, הדגמנו כיצד להשתמש בפתרון ADA כדי להפיק תובנות מיומני יישומים המאוחסנים בשני מקורות נתונים שונים. הדגמנו כיצד להתקין ADA בחשבון AWS ולפרוס את רכיבי ההדגמה באמצעות AWS CDK. יצרנו מוצרי נתונים ב-ADA והגדרנו את מוצרי הנתונים עם מקורות הנתונים המתאימים באמצעות מחברי הנתונים המובנים של ה-ADA. הדגמנו כיצד לבצע שאילתות על מוצרי הנתונים באמצעות שאילתות SQL סטנדרטיות ולהפיק תובנות על נתוני היומן. חיברנו גם את לקוח Tableau Desktop, מוצר BI של צד שלישי, ל-ADA והדגמנו כיצד לבנות הדמיות מול מוצרי הנתונים.
ADA עושה אוטומציה של תהליך ההטמעה, ההמרה, השליטה והשאילתה של מערכי נתונים מגוונים ומפשטת את ניהול מחזור החיים של נתונים. המחברים המובנים מראש של ADA מאפשרים לך להטמיע נתונים ממקורות נתונים מגוונים. צוותי תוכנה בעלי ידע בסיסי במוצרים ובשירותים של AWS יוכלו להקים פלטפורמת ניתוח נתונים תפעולית תוך מספר שעות ולספק גישה מאובטחת לנתונים. לאחר מכן ניתן לבצע שאילתות על הנתונים בקלות ובמהירות באמצעות ממשק משתמש אינטרנט אינטואיטיבי ועצמאי.
נסה את ADA היום כדי לנהל בקלות ולהשיג תובנות מנתונים.
על המחברים
Aparajithan Vaidyanathan הוא אדריכל פתרונות ארגוניים ראשיים ב-AWS. הוא תומך בלקוחות ארגוניים במעבר ובמודרניזציה של עומסי העבודה שלהם בענן AWS. הוא אדריכל ענן עם 23+ שנות ניסיון בתכנון ופיתוח מערכות תוכנה ארגוניות, בקנה מידה גדול ומבוזר. הוא מתמחה בלמידת מכונה וניתוח נתונים עם התמקדות בתחום הנדסת נתונים ותכונות. הוא רץ מרתון שואף ותחביביו כוללים טיולים רגליים, רכיבה על אופניים ובילוי עם אשתו ושני בנים.
רש"ים רחמן הוא מפתח תוכנה מסידני, אוסטרליה עם 10+ שנות ניסיון בפיתוח תוכנה וארכיטקטורה. הוא עובד בעיקר על בניית פתרונות AWS בקנה מידה גדול של קוד פתוח עבור מקרי שימוש נפוצים של לקוחות ובעיות עסקיות. בזמנו הפנוי הוא נהנה מספורט ולבלות עם חברים ובני משפחה.
חאפיז סאדאללה הוא מנהל מוצר טכני ראשי ב- Amazon Web Services. Hafiz מתמקדת בפתרונות AWS, שנועדו לעזור ללקוחות על ידי טיפול בבעיות עסקיות נפוצות ובמקרי שימוש.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. רכב / רכבים חשמליים, פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- ChartPrime. הרם את משחק המסחר שלך עם ChartPrime. גישה כאן.
- BlockOffsets. מודרניזציה של בעלות על קיזוז סביבתי. גישה כאן.
- מקור: https://aws.amazon.com/blogs/big-data/derive-operational-insights-from-application-logs-using-automated-data-analytics-on-aws/
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 10
- 11
- 12
- 14
- 15%
- 16
- 160
- 17
- 2021
- 3000
- 500
- 7
- 8
- 9
- a
- יכולת
- יכול
- אודות
- גישה
- נצפה
- נגיש
- חֶשְׁבּוֹן
- לרוחב
- פעולות
- ADA
- להוסיף
- תוספת
- נוסף
- פְּנִיָה
- מנהל
- לאחר
- נגד
- תעשיות
- להתיר
- מאפשר
- לאורך
- גם
- חלופה
- אמזון בעברית
- אמזון שירותי אינטרנט
- בין
- an
- אנליזה
- אנליסטים
- ניתוח
- לנתח
- ו
- אחר
- כל
- אַפָּשׁ
- API
- ממשקי API
- בקשה
- יישומים
- יישומית
- החל
- מריחה
- ארכיטקטורה
- ARE
- AS
- שאפתן
- At
- תכונות
- אוסטרליה
- אימות
- מורשה
- אוטומטי
- אוטומטית
- באופן אוטומטי
- זמין
- AWS
- AWS CloudFormation
- בחזרה
- קצה אחורי
- בָּר
- מבוסס
- בסיסי
- BE
- כי
- היה
- לפני
- בהתאמה אישית
- בֵּין
- שניהם
- אריזה מקורית
- לִבנוֹת
- בִּניָן
- מובנה
- עסקים
- מודיעין עסקי
- אבל
- by
- שיחה
- CAN
- יכולת
- מקרה
- מקרים
- קטלוג
- CD
- שינוי
- תרשים
- תרשימים
- בחרו
- בחירה
- לקוחות
- ענן
- קוד
- קודים
- אוסף
- טור
- עמודות
- Common
- להשלים
- רכיבים
- תְצוּרָה
- מוגדר
- לְחַבֵּר
- מחובר
- הקשר
- מתחבר
- לשקול
- עִקבִי
- קונסול
- מכיל
- להמשיך
- מְתוּאָם
- מתאם
- תוֹאֵם
- מתכתב
- עלות
- לִיצוֹר
- נוצר
- יוצר
- יוצרים
- אישורים
- נוֹכְחִי
- מנהג
- לקוח
- לקוחות
- לוח מחוונים
- נתונים
- ניתוח נתונים
- עיבוד נתונים
- מסד נתונים
- מאגרי מידע
- מערכי נתונים
- בְּרִירַת מֶחדָל
- דרישה
- הַדגָמָה
- להפגין
- מופגן
- תלוי
- לפרוס
- פרס
- פריסה
- פורס
- תיאור
- מעוצב
- תכנון
- שולחן העבודה
- מְפוֹרָט
- פרטים
- מפתח
- מתפתח
- צעצועי התפתחות
- אבחון
- אחר
- ישירות
- נכה
- תגלית
- לְהַצִיג
- מופץ
- שונה
- לא
- תחום
- תחומים
- לא
- ירד
- בְּמַהֲלָך
- כל אחד
- מוקדם יותר
- בקלות
- עריכה
- או
- אמייל
- מופעל
- מאפשר
- נקודת קצה
- נקודות קצה
- הנדסה
- לְהַבטִיחַ
- זן
- מִפְעָל
- לקוחות ארגוניים
- פתרונות ארגוניים
- שגיאה
- שגיאות
- להקים
- נוסד
- Ether (ETH)
- דוגמה
- קיימים
- ניסיון
- להסביר
- הסבר
- תמצית
- לחלץ את הנתונים
- מוכר
- משפחה
- מאפיין
- מעטים
- שדה
- שדות
- תרשים
- שלח
- קבצים
- סופי
- לממן
- ראשון
- גמיש
- להתמקד
- מתמקד
- הבא
- בעד
- פוּרמָט
- ארבע
- תדר
- חברים
- החל מ-
- פונקציה
- לְהַשִׂיג
- ליצור
- נוצר
- לקבל
- מקבל
- שלטון
- קְבוּצָה
- קבוצה
- יש
- יש
- he
- לעזור
- מודגש
- טיולים
- שֶׁלוֹ
- היסטורי
- תחביבים
- אירח
- שעות
- איך
- איך
- אולם
- HTML
- http
- HTTPS
- IAM
- זהה
- לזהות
- זהות
- if
- לייבא
- in
- לכלול
- כולל
- כולל
- מידע
- תשתית
- בתחילה
- תובנות
- להתקין
- התקנה
- הוראות
- משולב
- השתלבות
- מוֹדִיעִין
- אינטראקטיבי
- מעוניין
- מִמְשָׁק
- אל תוך
- אינטואיטיבי
- מעורר
- מעורב
- סוגיה
- IT
- להצטרף
- הצטרפות
- מצטרף
- jpg
- ג'סון
- רק
- שמור
- מפתח
- ידע
- שפה
- גָדוֹל
- בקנה מידה גדול
- אחרון
- מאוחר יותר
- השקה
- למידה
- סִפְרִיָה
- מורשה
- מעגל החיים
- כמו
- להגביל
- קו
- רשימה
- לחיות
- היכנס
- רישום
- ארוך
- נראה
- בדיקה
- מכונה
- למידת מכונה
- לעשות
- עשייה
- לנהל
- ניהול
- מנהל
- רב
- מַפָּה
- מיפוי
- מרתון
- שיווק
- דבר
- משמעותי
- הודעה
- משרד חוץ
- יכול
- נודד
- דקות
- מצב
- לְחַדֵשׁ
- יותר
- רוב
- בעיקר
- מוזילה
- אימות רב גורמים
- MySQL
- שם
- שם
- שמות
- יליד
- נווט
- מנווט
- ניווט
- צורך
- נחוץ
- צרכי
- חדש
- חדש
- הבא
- מספר
- of
- המיוחדות שלנו
- לא מחובר
- זקן
- on
- On-Demand
- ONE
- באינטרנט
- רק
- לפתוח
- קוד פתוח
- מבצעי
- אפשרות
- or
- להזמין
- אחר
- אחרים
- הַחוּצָה
- תפוקה
- סקירה
- עמוד
- זגוגית
- סיסמה
- נתיב
- תבנית
- לבצע
- הרשאות
- אישית
- טלפון
- pii
- צינור
- מקום
- מישור
- תכנית
- פלטפורמה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- מדיניות
- כניסה
- הודעה
- פוסטגרסל
- מופעל
- להכין
- מכין
- תנאים מוקדמים
- להציג
- מתנות
- תצוגה מקדימה
- קודם
- בראש ובראשונה
- מנהל
- קודם
- בעיות
- להמשיך
- תהליך
- מעובד
- תהליכים
- תהליך
- מיוצר
- המוצר
- מנהל מוצר
- מוצרים
- מוצרים ושירותים
- תוכניות
- פּרוֹיֶקט
- לספק
- ובלבד
- ספק
- מספק
- מטרה
- למטרות
- פיתון
- שאילתות
- שאלה
- מהירות
- רכס
- חומר עיוני
- מוכן
- לקבל
- רשום
- מכונה
- באזור
- קשר
- רלוונטי
- להסיר
- לחזור על
- דוחות לדוגמא
- לבקש
- נדרש
- משאבים
- אלה
- תגובה
- תוצאות
- לִשְׁמוֹר
- סקירה
- רכיבה
- תפקידים
- שורש
- כלל
- הפעלה
- רץ
- ריצה
- מכירות
- אותו
- שמור
- סולם
- תרחישים
- מתוכנן
- היקף
- חיפוש
- שְׁנִיָה
- סעיף
- לבטח
- אבטחה
- לִרְאוֹת
- נבחר
- מבחר
- לשלוח
- נשלח
- נפרד
- לשרת
- ללא שרת
- שרות
- שירותים
- סט
- הצבה
- שיתוף
- משותף
- קצר
- הראה
- הופעות
- פָּשׁוּט
- פשוט
- מפשט
- מידה
- מיומנויות
- So
- תוכנה
- פיתוח תוכנה
- פִּתָרוֹן
- פתרונות
- מָקוֹר
- מקורות
- מומחה
- מתמחה
- ספציפי
- מפורט
- הוצאה
- ספורט
- SQL
- לערום
- עצמאי
- תֶקֶן
- התחלה
- התחלות
- מצב
- שלב
- צעדים
- אחסון
- מאוחסן
- מחרוזת
- מובנה
- מוצלח
- בהצלחה
- כזה
- תומך
- בטוח
- סידני
- מערכות
- שולחן
- תמונת חיה
- לקחת
- לוקח
- נבחרת
- צוותי
- טכני
- כישורים טכניים
- מסוף
- זֶה
- השמיים
- המקור
- שֶׁלָהֶם
- אז
- שם.
- אלה
- צד שלישי
- זֶה
- שְׁלוֹשָׁה
- דרך
- זמן
- ל
- היום
- כלים
- חלק עליון
- 10 למעלה
- סה"כ
- לשנות
- טרנספורמציה
- טרנספורמציות
- טרנספורמציה
- הפיכה
- התמרות
- מופעל
- שתיים
- סוג
- סוגים
- תחת
- בְּסִיסִי
- להבין
- מְעוּדכָּן
- עדכונים
- על
- URI
- us
- להשתמש
- במקרה להשתמש
- מְשׁוּמָשׁ
- משתמש
- ממשק משתמש
- משתמשים
- באמצעות
- ערכים
- משתנה
- מגוון
- גרסה
- באמצעות
- לצפיה
- רוצה
- דֶרֶך..
- we
- אינטרנט
- שירותי אינטרנט
- טוֹב
- מתי
- אשר
- בזמן
- רָחָב
- טווח רחב
- רעיה
- יצטרך
- עם
- בתוך
- לְלֹא
- תיק עבודות
- זרימת עבודה
- עובד
- היה
- לכתוב
- שנים
- אתה
- זפירנט