סטודיו EMR של אמזון היא סביבת פיתוח משולבת (IDE) שמאפשרת למדעני נתונים ומהנדסי נתונים פשוטים לפתח, להמחיש ולבצע ניפוי באגים ביישומי הנדסת נתונים ומדעי נתונים שנכתבו ב-R, Python, Scala ו-PySpark. EMR Studio מספק מחברות וכלים Jupyter המנוהלים במלואם כגון Spark UI ו-YARN Timeline Server באמצעות EMR Studio Workspaces. אתה יכול לצרף סביבת עבודה של סטודיו EMR לאשכול EMR, ולהשתמש בכוח המחשוב של אשכול ה-EMR ולהפעיל עבודות מדעיות באשכול. נתונים מאוחסנים לרוב באגמי נתונים המנוהלים על ידי תצורת אגם AWS, המאפשר לך להחיל בקרת גישה עדינה באמצעות מנגנון הענקה או ביטול פשוט.
אנחנו שמחים להציג תפקידי זמן ריצה עבור EMR Studio סביבות עבודה. כעת תוכל להגדיר תפקיד זמן ריצה ולהקצות אותו לאשכול EMR בעת צירוף סביבת עבודה של EMR Studio. העבודות באשכול EMR ישתמשו בתפקיד זמן ריצה זה כדי לגשת למשאבי AWS. לאחר קביעת התצורה של תפקיד זמן ריצה, תוכל גם להשתמש ב-Lake Formation ולהחיל בקרת גישה עדינה לנתונים עבור העבודות שהוגשו על ידי EMR Studio Workspace.
בעבר, בעת חיבור EMR Studio Workspaces לאשכולות EMR, כל סביבות העבודה היו צריכים להשתמש באותו AWS זהות וניהול גישה תפקיד (IAM) - כלומר, של האשכול ענן מחשוב אלסטי של אמזון פרופיל מופע (Amazon EC2). לכן, לכל סביבות העבודה המחוברות לאותו אשכול EMR הייתה אותה גישה לנתונים. כדי לשלוט בגישה למקורות נתונים, כל EMR Studio Workspace היה צריך להשתמש באשכול EMR אחר, והיה צורך במספר פרופילים של מופעי EMR.
החל מהשחרור של Amazon EMR 6.11, כעת תוכל לבחור תפקיד בזמן ריצה בעת חיבור EMR Studio Workspace לאשכול EMR. תפקיד זמן ריצה זה מגדיר את הגישה ברמת Workspace. לעבודות ה-Apache Livy ו-Apache Spark שלך הפועלות מ-EMR Studio Workspaces תהיה הרשאה לגשת רק לנתונים ולמשאבים המותרים לפי מדיניות המצורפת לתפקיד זמן הריצה. כמו כן, כאשר נגישות לנתונים מאגמי נתונים המנוהלים עם Lake Formation, אתה יכול לאכוף בקרת גישה לנתונים עדין באמצעות הרשאות Lake Formation. זה עוזר לך להפחית את התקורה התפעולית.
בפוסט זה, אנו מדגים כיצד להגדיר תפקידי זמן ריצה עבור סביבות עבודה של EMR Studio ולצרף סביבת עבודה לאשכול EMR עם תפקידי זמן ריצה. מכיוון שארגונים גדולים משתמשים בדרך כלל במספר חשבונות AWS, ורבים מהחשבונות האלה עשויים להזדקק לגישה לאגם נתונים המנוהל על ידי חשבון AWS יחיד, הדוגמה שלנו משתמשת בשני חשבונות AWS. אנו מסבירים כיצד לשלוט בגישה לתפקידי זמן ריצה של EMR Studio, לנהל גישה לנתונים בין חשבונות באגם נתונים דרך Lake Formation, ולאכוף הרשאות ברמת הטבלה וברמת העמודה לתפקידי זמן הריצה של EMR.
סקירת פתרונות
כדי להדגים בקרת גישה עדינה, אנו יוצרים דוגמה דבק AWS מסד הנתונים בשם חברה ולנהל את הרשאת מסד הנתונים ב- Lake Formation. מסד הנתונים מורכב משתי טבלאות נפרדות:
- עובדים – טבלה זו מאחסנת מידע על עובדי החברה, לרבות זיהוי עובד, שם, מחלקה ומשכורת
- מוצרים – טבלה זו מאחסנת מידע על המוצרים הנמכרים על ידי החברה, לרבות מזהה מוצר, שם, קטגוריה ומחיר
כדי להדגים בקרת גישה לנתונים, אנו רואים את משתמשי הנתונים הבאים:
- אליס, מדען נתונים בצוות המכירות – צריכה להיות לה גישת קריאה בלבד לכל העמודות ב-
products
טבלה ועמודות נבחרות, כולל uID, שם ומחלקה ב-employees
שולחן - בוב, מדען נתונים בצוות משאבי אנוש – צריכה להיות לו גישת קריאה בלבד לכל העמודות ב
employees
טבלה ולא אמורה להיות לו גישה ל-products
שולחן
כדי להדגים שיתוף נתונים חוצה-חשבונות, אנו שוקלים שני חשבונות:
- חשבון מפיק נתונים – אנו מתייחסים לחשבון זה כאל
123456789012
בפוסט הזה. חשבון זה מנהל את הנתונים הגולמיים ב שירות אחסון פשוט של אמזון (Amazon S3) וכותב נתונים לאגם הנתונים. הcompany
מסד נתונים וטבלאות צריכים להיות בחשבון זה. - חשבון צרכן נתונים – אנו מתייחסים לחשבון זה כאל
111122223333
בפוסט הזה. המשתמשים ניגשים ישירות לחשבון הזה לצורך ניתוח נתונים ואין לו גישת כתיבה לנתונים. אליס ובוב אמורים להיות נגישים לחשבון זה.
הארכיטקטורה מיושמת באופן הבא:
- חשבון מפיק הנתונים מנהל אגם נתונים. נתונים גולמיים מאוחסנים בדליים של S3 ומקוטלגים בקטלוג נתוני הדבק של AWS.
- יצירת אגם בחשבון יצרן הנתונים שולטת בגישה לנתונים דרך קטלוג הנתונים, ומספקת שיתוף נתונים חוצה-חשבונות עם חשבון צרכן הנתונים.
- Lake Formation בחשבון צרכני הנתונים שולט בגישה חוצת חשבונות לאגם הנתונים ברמת הטבלה והרשאות מעודנות של Lake Formation. למידע נוסף, עיין ב שיטות לבקרת גישה עדינה.
- סביבות עבודה של EMR Studio בחשבון צרכני הנתונים משתמשים בתפקידי זמן ריצה בעת הפעלת משימות באשכול EMR.
- אשכול ה-EMR מתחבר ל-Glue Data Catalog בחשבון צרכן הנתונים ושואל את הנתונים מאגם הנתונים באמצעות שיתוף נתונים חוצה-חשבונות.
התרשים הבא ממחיש ארכיטקטורה זו.
בסעיפים הבאים, אנו עוברים על השלבים לשיתוף נתונים בין חשבונות דרך Lake Formation, מפעילים EMR Studio Workspace עם תפקידי זמן ריצה, ומדגימים בקרת גישה עדינה.
תנאים מוקדמים
אתה צריך להיות בעל הדרישות המוקדמות הבאות:
צור את התשתית בחשבון מפיק הנתונים
השלם את השלבים הבאים כדי ליצור את משאבי התשתית:
- היכנס לחשבון מפיק הנתונים AWS (
123456789012
). - בחרו השקת ערימה לפרוס תבנית CloudFormation ליצירת המשאבים הדרושים.
- בעד DataLakeBucketSuffix, הזן את הסיומת עבור דלי S3 המשמש את אגם הנתונים. כל שם הדלי S3 שייווצר יהיה
{AwsAccoundId}-{AwsRegion}-{DataLakeBucketSuffix}
. - לאחר יצירת מחסנית CloudFormation, נווט אל יציאות לשונית של הערימה וללכוד את הערך של
DataLakeS3Bucket
לשימוש בשלב הבא.
צור קובצי נתונים והעלה אותם לאמזון S3 בחשבון מפיק הנתונים
הגדר את ה-AWS CLI שלך להשתמש בזהות IAM עם הרשאה להעלות ל-DataLakeS3BucketName בחשבון מפיק הנתונים AWS (123456789012
), או שאתה יכול להיכנס ל-CloudShell באמצעות קונסולת הניהול של AWS. השלם את השלבים הבאים:
- במחשב המקומי שלך, עבור לספרייה לבחירתך עם הפקודה cd, למשל,
cd ~
. - הפעל את תסריט עם
chmod 744 create_sample_data.sh && ./create_sample_data.sh <DataLakeS3BucketName>
.
הסקריפט ייצור ספריית משנה tmp
בספריית העבודה הנוכחית שלך, צור את נתוני הבדיקה בקובצי CSV והעלה את הקבצים ל- DataLakeS3BucketName
דלי S3.
הגדר את Lake Formation בחשבון מפיק הנתונים
בחלק זה, אנו עוברים על השלבים להגדרת Lake Formation בחשבון מפיק הנתונים.
הגדר את הגדרות גרסת שיתוף הנתונים של Lake Formation חוצה-חשבונות
Lake Formation תומך במספר גרסאות שיתוף נתונים. עבור פוסט זה, אנו משתמשים בגרסה 3. למידע נוסף על ההבדלים בין גרסאות שיתוף נתונים, עיין ב עדכון הגדרות גרסת שיתוף נתונים חוצה-חשבונות. כדי לשנות את גרסת שיתוף הנתונים, ראה כדי להפעיל את הגרסה החדשה.
רשום את מיקום Amazon S3 כמיקום אגם הנתונים
כאשר אתה לרשום מיקום של Amazon S3 עם Lake Formation, אתה מציין תפקיד IAM עם הרשאות קריאה/כתיבה במיקום זה. לאחר ההרשמה, כאשר אשכולות EMR מבקשים גישה למיקום זה של Amazon S3, Lake Formation תספק אישורים זמניים של התפקיד המסופק כדי לגשת לנתונים. כבר יצרנו את התפקיד LakeFormationCompanyDatabaseDataAccessRole
למטרה זו בשלב הקודם. כדי לרשום את מיקום Amazon S3 כמיקום אגם הנתונים, בצע את השלבים הבאים:
- פתח את קונסולת Lake Formation עם מנהל אגם הנתונים של Lake Formation בחשבון מפיק הנתונים (
123456789012
). - בחלונית הניווט בחר מיקומי אגם נתונים תחת אדמינסטרציה.
- בחרו רשום מיקום.
- בעד נתיב S3 של אמזון, להיכנס
s3://<DataLakeS3BucketName>/company-database
. - בעד תפקיד IAM, להיכנס
LakeFormationCompanyDatabaseDataAccessRole
. - בעד מצב הרשאה, בחר תצורת אגם.
- בחרו רשום מיקום.
בטל הרשאות שניתנו ל-IAMAllowedPrincipals
השמיים IAMAllowedPrincipals
הקבוצה כוללת את כל המשתמשים והתפקידים של IAM המורשים לגשת למשאבי קטלוג הנתונים שלך לפי מדיניות IAM שלך. ל לאכוף את מודל ה- Lake Formation, אנחנו צריכים לבטל את ההרשאה מאת IAMAllowedPrincipals באמצעות השלבים הבאים:
- פתח את קונסולת Lake Formation עם מנהל אגם הנתונים של Lake Formation בחשבון מפיק הנתונים.
- בחלונית הניווט בחר הרשאות אגם נתונים תחת הרשאות.
- סנן הרשאות לפי
Database = company
וPrinciple=IAMAllowedPrinciples
. - בחר את כל ההרשאות שניתנו למנהל
IAMAllowedPrincipals
ולבחור לְבַטֵל.
הגדר הגדרות שילוב אפליקציות
כדי לאכוף הרשאות עבור אשכול ה-EMR, עליך לרשום ערך תג הפעלה עם Lake Formation. Lake Formation משתמש בתג הפעלה זה כדי לאשר מתקשרים ולספק גישה לאגם הנתונים. אנחנו נרשמים Amazon EMR
כערך תג ההפעלה. ערך זה יופנה ב- תצורת אבטחה בעת יצירת אשכול EMR.
הגדר את תג ההפעלה באמצעות השלבים הבאים:
- פתח את קונסולת Lake Formation עם מנהל אגם הנתונים של Lake Formation בחשבון מפיק הנתונים.
- בחרו הגדרות שילוב אפליקציות תחת אדמינסטרציה בחלונית הניווט.
- בחר אפשר למנועים חיצוניים לסנן נתונים במיקומי Amazon S3 הרשומים ב-Lake Formation.
- בעד ערכי תג הפעלה, להיכנס
Amazon EMR
. - בעד מזהי חשבון AWS, הזן את מזהה חשבון ה-AWS של צרכן הנתונים (
111122223333
). - בחרו שמור.
שתף את מסד הנתונים והטבלאות לחשבון צרכן הנתונים
כעת אנו מעניקים הרשאות לחשבון ה-AWS של צרכן הנתונים, כולל הרשאות שניתנות להענקה. זה מאפשר למנהל אגם הנתונים של Lake Formation בחשבון צרכן הנתונים לשלוט בגישה לנתונים בתוך החשבון.
הענק הרשאות מסד נתונים לחשבון צרכן הנתונים
בצע את הצעדים הבאים:
- פתח את קונסולת Lake Formation עם מנהל אגם הנתונים של Lake Formation בחשבון מפיק הנתונים.
- בחלונית הניווט בחר מאגרי מידע.
- בחר את מסד הנתונים
company
, ועל פעולות תפריט, תחת הרשאות, בחר להעניק. - ב עקרונות בחר, בחר חשבונות חיצוניים והזן את חשבון AWS לצרכן הנתונים (
111122223333
). - ב LF-Tags או משאבי קטלוג סעיף, בחר
company
ל מאגרי מידע. - ב הרשאות מסד נתונים בחר, בחר לתאר לשניהם הרשאות מסד נתונים ו הרשאות הניתנות.
זה מאפשר למנהל אגם הנתונים בחשבון צרכן הנתונים לתאר את מסד הנתונים ולהעניק הרשאות תיאור למנהלים אחרים בחשבון צרכן הנתונים.
- בחרו להעניק.
הענק הרשאות טבלה לחשבון צרכן הנתונים
בצע את הצעדים הבאים:
- פתח את קונסולת Lake Formation עם מנהל אגם הנתונים של Lake Formation בחשבון מפיק הנתונים.
- בחלונית הניווט בחר לוחות.
- בחר
products
שולחן, השייך ל-company
מסד הנתונים, ועל פעולות תפריט, תחת הרשאות, בחר להעניק. - ב עקרונות בחר, בחר חשבונות חיצוניים והזן בחשבון AWS לצרכן הנתונים (
111122223333
). - ב LF-Tags או משאבי קטלוג בחר, בחר משאבי קטלוג נתונים בעלי שם וציין את הדברים הבאים:
- בעד מאגרי מידע, בחר
company
. - בעד לוחות, בחר
products
וemployees
.
- בעד מאגרי מידע, בחר
- ב הרשאות טבלה סעיף, בחר בחר ו לתאר לשניהם הרשאות טבלה ו הרשאות הניתנות.
זה מאפשר למנהל אגם הנתונים בחשבון צרכן הנתונים לבחור ולתאר את הטבלאות, ולהעניק הרשאות בחירה ותיאור טבלה למנהלים אחרים בחשבון צרכני הנתונים.
- ב הרשאות נתונים בחר, בחר כל גישה לנתונים.
- בחרו להעניק.
כעת סיימנו להגדיר את חשבון מפיק הנתונים.
הגדר את התשתית בחשבון צרכן הנתונים
השלם את השלבים הבאים כדי ליצור את משאבי התשתית:
- היכנס לחשבון צרכן הנתונים (
111122223333
). - בחרו הפעל מחסנית לפרוס תבנית CloudFormation ליצירת המשאבים הדרושים.
- בעד שחרור תווית, הזן את תווית השחרור של Amazon EMR לשימוש, שיכולה להיות רק emr-6.11 ומעלה.
- בעד InstanceType, בחר את סוג המופע עבור אשכול EMR, כגון r4.4xlarge.
- בעד EMRS3BucketNameSuffix, הזן את סיומת S3 bucket כדי לאחסן יומני אשכול EMR וקבצי מחברת EMR. השם המלא של דלי S3 שייווצר יהיה
{AWSAccoundId}-{AWSRegion}-{EMRS3BucketNameSuffix}
. - בעד S3PathToInTransitCertificate, הזן את נתיב S3 עבור קובץ ה-zip המכיל את קובצי ה-.pem המשמשים להצפנה במעבר.
להנחיות ליצירת קובץ ה-.zip המכיל את קובצי ה-.pem והעלאתם לדלי S3 שלך, עיין ב- מתן אישורים להצפנת נתונים במעבר עם הצפנת אמזון EMR.
- לאחר יצירת מחסנית CloudFormation, נווט אל יציאות לשונית של הערימה.
- תפוס את הערך של
EMRStudioLink
לשימוש כדי להיכנס ל-EMR Studio.
קבל את חלוקת המשאבים בחשבון צרכן הנתונים
כדי לגשת למשאבים משותפים, תחילה עליך לאשר את ההזמנה.
- פתח את מסוף ה- AWS RAM של חשבון צרכן הנתונים עם הזהות IAM שיש לה גישת AWS RAM.
- בחלונית הניווט בחר מניות משאבים תחת משותף איתי.
אתה אמור לראות שני שיתופי משאבים ממתינים מחשבון מפיק הנתונים.
- קבל את שני שיתופי המשאבים.
אתה צריך לראות את company
מאגר מידע, employees
שולחן, ו products
טבלה בקטלוג הנתונים.
הגדר את Lake Formation בחשבון צרכן הנתונים
בחלק זה, אנו עוברים על השלבים להגדרת Lake Formation בחשבון צרכני הנתונים.
הגדר הגדרות שילוב אפליקציות
בדומה להגדרה בחשבון מפיק הנתונים, עליך לרשום את Amazon EMR כתג הפעלה. ערך זה מוזכר ב- תצורת אבטחה בעת יצירת אשכול EMR בערימת CloudFormation.
כדי לעשות זאת, בצע את השלבים הבאים:
- פתח את קונסולת Lake Formation עם מנהל אגם הנתונים של Lake Formation בחשבון צרכן הנתונים (
111122223333
). - בחרו הגדרות שילוב אפליקציות תחת אדמינסטרציה בחלונית הניווט.
- בחר אפשר למנועים חיצוניים לסנן נתונים במיקומי Amazon S3 הרשומים ב-Lake Formation.
- בעד ערכי תג הפעלה, להיכנס
Amazon EMR
. - בעד מזהי חשבון AWS, הזן את מזהה חשבון ה-AWS של צרכן הנתונים (
111122223333
). - בחרו שמור.
הענק מתאר הרשאות לתפקידי זמן ריצה במסד הנתונים המוגדר כברירת מחדל
אם אין לך מסד נתונים ברירת מחדל ב-Lake Formation, או למסד הנתונים המוגדר כברירת מחדל כבר יש הרשאות להעניק לו IAMAllowedPrinciples
, תוכל לדלג על שלב זה.
Amazon EMR יבדוק את מסד הנתונים המוגדר כברירת מחדל כברירת מחדל. אם כבר יש לך מסד נתונים ברירת מחדל ב-Lake Formation, הענק הרשאת תיאור לתפקידי זמן הריצה במסד הנתונים המוגדר כברירת מחדל על ידי השלמת השלבים הבאים:
- פתח את קונסולת Lake Formation עם משתמש מנהל אגם הנתונים של Lake Formation בחשבון צרכן הנתונים.
- בחלונית הניווט בחר מאגרי מידע.
- בחר את מסד הנתונים המוגדר כברירת מחדל, ודא שמזהה חשבון הבעלים הוא חשבון צרכן הנתונים (
111122223333
), ועל ה פעולות בתפריט, בחר להעניק. - ב סעיף עקרונות, בחר משתמשים ותפקידי IAM.
- בעד משתמשים ותפקידי IAM, בחר
sales-runtime-role
וhuman-resource-runtime-role
. - בעד LF-Tags או משאבי קטלוג, בחר משאבי קטלוג נתונים בעלי שם ובחר ברירת מחדל עבור מאגרי מידע.
- ב הרשאות מסד נתונים קטע, עבור הרשאות מסד נתונים, בחר לתאר.
- בחרו להעניק.
צור קישור למשאב עבור מסד הנתונים המשותף
כדי לגשת למשאבי מסד הנתונים והטבלה ששותפו על ידי חשבון מפיק הנתונים AWS, עליך ליצור א קישור משאבים בחשבון AWS לצרכן נתונים. קישור משאב הוא אובייקט קטלוג נתונים המהווה קישור למסד נתונים או טבלה מקומיים או משותפים. לאחר יצירת קישור משאב למסד נתונים או טבלה, תוכל להשתמש בשם קישור המשאב בכל מקום שבו תשתמש בשם מסד הנתונים או הטבלה. בשלב זה, אתה מעניק הרשאה לקישורי המשאבים לעקרונות תפקידי זמן הריצה. תפקידי זמן הריצה יגשו לאחר מכן לנתונים במסדי נתונים משותפים ובטבלאות הבסיסיות דרך קישור המשאב.
כדי ליצור קישור למשאב, בצע את השלבים הבאים:
- פתח את קונסולת Lake Formation עם מנהל אגם הנתונים של Lake Formation בחשבון צרכן הנתונים.
- בחלונית הניווט בחר מאגרי מידע.
- בחר
company
מסד נתונים, ודא שמזהה חשבון הבעלים הוא חשבון מפיק הנתונים (123456789012
), ועל ה פעולות בתפריט, בחר צור קישורי משאבים. - בעד שם קישור המשאב, הזן את שם קישור המשאב (לדוגמה,
company-shared
). - בעד אזור מסד הנתונים המשותף, בחר את אזור ה-
company
מאגר מידע. - בעד מסד נתונים משותף, בחר את מסד הנתונים של החברה.
- בעד מזהה הבעלים של מסד הנתונים המשותף, הזן את מזהה החשבון של חשבון מפיק הנתונים (
123456789012
). - בחרו צור.
הענק הרשאות בקישור המשאב לעקרון תפקיד זמן הריצה
הענק הרשאות בקישור המשאב לתפקיד מכירות-ריצה-תפקיד ותפקיד משאבי אנוש-זמן ריצה באמצעות השלבים הבאים:
- פתח את קונסולת Lake Formation עם מנהל אגם הנתונים של Lake Formation בחשבון צרכן הנתונים.
- בחלונית הניווט בחר מאגרי מידע.
- בחר את קישור המשאב (
company-shared
) ועל פעולות בתפריט, בחר להעניק. - ב עקרונות בחר, בחר משתמשים ותפקידי IAM, ולבחור
sales-runtime-role
וhuman-resource-runtime-role
. - ב LF-Tags או משאבי קטלוג קטע, עבור מאגרי מידע, בחר
company-shared
. - ב הרשאות קישור למשאבים בחר, בחר לתאר.
זה מאפשר לתפקידי זמן הריצה לתאר את קישור המשאב. אנחנו לא בוחרים להעניק הרשאות ניתנות להענקה מכיוון שתפקידי זמן ריצה לא אמורים להיות מסוגלים להעניק הרשאות לעקרונות אחרים.
- בחרו להעניק.
הענק הרשאה בטבלאות לעקרון תפקיד זמן הריצה
אתה צריך להעניק הרשאות על הטבלאות sales-runtime-role
ו human-resource-runtime-role
כדי לאפשר גישה לנתונים:
Human-resource-runtime-role
צריך לתאר ולבחור הרשאות בכל העמודות ב-employees
טבלה, וללא הרשאות ב-products
השולחן.Sales-runtime-role
צריך להיות בעל הרשאות בחירה בעמודותuid
,name
, וdepartment
בemployees
טבלה, ותאר ובחר הרשאות בכל העמודות ב-products
השולחן.
הענק הרשאה על טבלת העובדים לתפקיד משאבי אנוש-זמן ריצה
בצע את הצעדים הבאים:
- פתח את קונסולת Lake Formation עם מנהל אגם הנתונים של Lake Formation בחשבון צרכן הנתונים.
- בחלונית הניווט בחר מאגרי מידע.
- בחר את קישור המשאב (
company-shared
) ועל פעולות בתפריט, בחר Grant on Target. - ב סעיף עקרונות, בחר משתמשים ותפקידי IAM, ואז לבחור
human-resource-runtime-role
. - ב LF-Tags או משאבי קטלוג בחר, בחר משאבי קטלוג נתונים בעלי שם וציין את הדברים הבאים:
- בעד מאגרי מידע, בחר
company
. - בעד לוחותבחר
employees
.
- בעד מאגרי מידע, בחר
- ב הרשאות טבלה קטע, עבור הרשאות טבלה, בחר לתאר ו בחר.
- ב הרשאות נתונים בחר, בחר כל גישה לנתונים.
- בחרו להעניק.
הענק הרשאה בטבלת העובדים לתפקיד מכירות-ריצה-תפקיד
בצע את הצעדים הבאים:
- פתח את קונסולת Lake Formation עם מנהל אגם הנתונים של Lake Formation בחשבון צרכן הנתונים.
- בחלונית הניווט בחר מאגרי מידע.
- בחר את קישור המשאב (
company-shared
) ועל פעולות בתפריט, בחר Grant on Target. - ב סעיף עקרונות, בחר משתמשים ותפקידי IAM, ואז לבחור
sales-runtime-role
. - ב LF-Tags או משאבי קטלוג בחר, בחר משאבי קטלוג נתונים בעלי שם וציין את הדברים הבאים:
- בעד מאגרי מידע, בחר
company
. - בעד לוחות, בחר
employees
.
- בעד מאגרי מידע, בחר
- ב הרשאות טבלה קטע, עבור הרשאות טבלה, בחר בחר.
- ב הרשאות נתונים בחר, בחר גישה מבוססת עמודות.
- בחר כלול עמודות ולבחור את
uid
,name
, וdepartment
עמודות. - בחרו להעניק.
הענק הרשאה בטבלת המוצרים לתפקיד מכירות-ריצה-תפקיד
בצע את הצעדים הבאים:
- פתח את קונסולת Lake Formation עם מנהל אגם הנתונים של Lake Formation בחשבון צרכן הנתונים.
- בחלונית הניווט בחר מאגרי מידע.
- בחר את קישור המשאב (
company-shared
) ועל פעולות בתפריט, בחר Grant on Target. - ב סעיף עקרונות, בחר משתמשים ותפקידי IAM, ואז לבחור
sales-runtime-role
. - ב LF-Tags או משאבי קטלוג בחר, בחר משאבי קטלוג נתונים בעלי שם וציין את הדברים הבאים:
- בעד מאגרי מידע, בחר
company
. - בעד לוחות, בחר
products
.
- בעד מאגרי מידע, בחר
- ב הרשאות טבלה קטע, עבור הרשאות טבלה, בחר בחר ו לתאר.
- ב הרשאות נתונים בחר, בחר כל גישה לנתונים.
- בחרו להעניק.
היכנס ל-EMR Studio והשתמש בסביבת העבודה של EMR Studio
החלף את התפקיד שלך ל alice-role
or bob-role
על המסוף באמצעות דפדפני אינטרנט שונים כדי לבדוק גישה. פתח את ה EMRStudioLink
כתובת URL מפלט מחסנית CloudFormation כדי להיכנס ל-EMR Studio עם כל תפקיד, ולאחר מכן השלם את השלבים הבאים:
- בחרו סביבות עבודה בחלונית הניווט ובחר צור סביבת עבודה.
- הזן שם ותיאור עבור סביבת העבודה.
- בחרו צור סביבת עבודה.
כרטיסייה חדשה המכילה JupyterLab תיפתח אוטומטית כאשר סביבת העבודה תהיה מוכנה. הפעל חלונות קופצים בדפדפן שלך במידת הצורך.
- בחר את לחשב סמל בחלונית הניווט כדי לצרף את סביבת העבודה של סטודיו EMR עם מנוע מחשוב.
- בחר אשכול EMR ב-EC2 ל סוג מחשוב.
- בחר את מזהה אשכול EMR שיצרת עם AWS CloudFormation.
- בעד תפקיד זמן ריצה, בחר
sales-runtime-role
אם מחובר בתורalice-role
. בחרhuman-resource-runtime-role
אם מחובר בתורbob-role
. - בחרו לצרף.
הפעל קוד בסביבת העבודה של EMR Studio ואמת גישה לנתונים
הפעל את הקוד הבא בסביבת העבודה של EMR Studio עם ליבת PySpark לאחר הכניסה עם alice-role או bob-role:
אתה אמור לראות תוצאות שונות בעת שימוש בתפקידים שונים.
על פי תצורת הגישה לנתונים שלנו ב-Lake Formation, לאליס תהיה גישה מלאה לנתונים עבור products
שולחן. היא יכולה להציג את כל העמודות פרט למשכורת ב- employees
השולחן.
עבור בוב, על פי תצורת הגישה לנתונים שלנו ב-Lake Formation, תהיה לו גישה מלאה לנתונים employees
שולחן, אבל אין לו גישה ל products
השולחן.
לנקות את
כשתסיים להתנסות בפתרון זה, נקה את המשאבים שלך:
- עצור ומחק את סביבות העבודה של EMR Studio שנוצרו בחשבון AWS לצרכן נתונים.
- מחק את כל התוכן בדלי S3
EMRS3Bucket
בחשבון AWS לצרכן נתונים. - מחק את ערימת CloudFormation בחשבון ה-AWS לצרכן הנתונים.
- מחק את כל התוכן בדלי S3
DataLakeS3Bucket
בחשבון מפיק הנתונים AWS. - מחק את ערימת CloudFormation בחשבון מפיק הנתונים AWS.
סיכום
פוסט זה הראה כיצד אתה יכול להשתמש בתפקידי זמן ריצה כדי להתחבר לסביבת עבודה של סטודיו EMR עם Amazon EMR כדי להחיל בקרת גישה עדינה לנתונים עם Lake Formation. הדגמנו גם כיצד מספר משתמשי EMR Studio יכולים להתחבר לאותו אשכול EMR, כל אחד משתמש בתפקיד זמן ריצה עם הרשאות התואמות את רמת הגישה האישית שלהם לנתונים.
למידע נוסף על שימוש ב-EMR Studio Workspaces עם Lake Formation, עיין ב הפעל סביבת עבודה של EMR Studio עם תפקיד זמן ריצה. אנו ממליצים לך לנסות את הפונקציונליות החדשה הזו, ולהתחבר אלינו אם יש לך שאלות או משוב!
על הכותבים
אשלי ג'ואו הוא מהנדס פיתוח תוכנה ב-AWS. היא מתעניינת בניתוח נתונים ובמערכות מבוזרות.
Srividya Parthasarathy הוא ארכיטקט ביג דאטה בכיר בצוות AWS Lake Formation. היא נהנית לבנות פתרונות ניתוח ורשת נתונים ב-AWS ולשתף אותם עם הקהילה.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/big-data/use-iam-runtime-roles-with-amazon-emr-studio-workspaces-and-aws-lake-formation-for-cross-account-fine-grained-access-control/
- :יש ל
- :הוא
- :לֹא
- $ למעלה
- 100
- 107
- 11
- 20
- 7
- 8
- a
- יכול
- אודות
- לְקַבֵּל
- גישה
- גישה לנתונים
- נצפה
- נגיש
- פי
- חֶשְׁבּוֹן
- חשבונות
- לרוחב
- לאחר
- ירייה
- תעשיות
- להתיר
- מותר
- מאפשר
- כְּבָר
- גם
- אמזון בעברית
- אמזון
- אמזון EMR
- אמזון שירותי אינטרנט
- an
- אנליזה
- ניתוח
- ו
- כל
- אַפָּשׁ
- אפאצ 'י ספארק
- בקשה
- יישומים
- החל
- ארכיטקטורה
- ARE
- AS
- At
- לצרף
- לאשר
- באופן אוטומטי
- AWS
- AWS CloudFormation
- דבק AWS
- תצורת אגם AWS
- BE
- כי
- שייך
- בֵּין
- גָדוֹל
- נתונים גדולים
- שילינג
- שניהם
- דפדפן
- דפדפנים
- בִּניָן
- אבל
- by
- CAN
- ללכוד
- קטלוג
- קטגוריה
- CD
- תעודות
- שינוי
- לבדוק
- בחירה
- בחרו
- לְנַקוֹת
- אשכול
- קוד
- עמודות
- קהילה
- חברה
- של החברה
- להשלים
- מַשׁלִים
- לחשב
- תְצוּרָה
- לְחַבֵּר
- מתחבר
- לשקול
- מורכב
- קונסול
- צרכן
- מכיל
- תוכן
- לִשְׁלוֹט
- לִיצוֹר
- נוצר
- יוצרים
- אישורים
- נוֹכְחִי
- נתונים
- גישה למידע
- ניתוח נתונים
- ניתוח נתונים
- אגם דאטה
- מדע נתונים
- מדען נתונים
- שיתוף מידע
- מסד נתונים
- מאגרי מידע
- בְּרִירַת מֶחדָל
- לְהַגדִיר
- להפגין
- מופגן
- מַחלָקָה
- לפרוס
- לתאר
- תיאור
- לפתח
- צעצועי התפתחות
- ההבדלים
- אחר
- ישירות
- מופץ
- מערכות מבוזרות
- do
- לא
- לא
- מטה
- כל אחד
- עובד
- עובדים
- לאפשר
- מה שמאפשר
- לעודד
- הצף
- לאכוף
- מנוע
- מהנדס
- הנדסה
- מהנדסים
- מנועים
- זן
- חברות
- סביבה
- Ether (ETH)
- דוגמה
- אלא
- להסביר
- חיצוני
- שלח
- קבצים
- לסנן
- ראשון
- הבא
- כדלקמן
- בעד
- התהוות
- החל מ-
- מלא
- לגמרי
- פונקציונלי
- נתן
- Go
- שולט
- להעניק
- כמובן מאליו
- קְבוּצָה
- היה
- שמח
- יש
- he
- עוזר
- איך
- איך
- HTML
- http
- HTTPS
- בן אנוש
- משאבי אנוש
- משאבי אנוש
- IAM
- ID
- זהות
- if
- מדגים
- יושם
- in
- כולל
- כולל
- בנפרד
- מידע
- תשתית
- למשל
- הוראות
- משולב
- השתלבות
- מעוניין
- מבוא
- הזמנה
- IT
- מקומות תעסוקה
- jpg
- תווית
- אגם
- אגמים
- גָדוֹל
- מפעלים גדולים
- לשגר
- לִלמוֹד
- רמה
- להגביל
- קשר
- קישורים
- מקומי
- מיקום
- מקומות
- מכונה
- לעשות
- עושה
- לנהל
- הצליח
- ניהול
- מצליח
- רב
- תואם
- מנגנון
- תפריט
- רשת
- יכול
- יותר
- המהלך
- מספר
- צריך
- שם
- שם
- נווט
- ניווט
- הכרחי
- צורך
- נחוץ
- חדש
- הבא
- לא
- מחברה
- מחשבים ניידים
- עַכשָׁיו
- אובייקט
- of
- לעתים קרובות
- on
- רק
- לפתוח
- מבצעי
- or
- אחר
- שלנו
- הַחוּצָה
- תפוקה
- בעלים
- זגוגית
- נתיב
- תלוי ועומד
- רשות
- הרשאות
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- מדיניות
- הודעה
- כּוֹחַ
- תנאים מוקדמים
- קודם
- מנהל
- מנהלים
- עקרון
- עקרונות
- יַצרָן
- המוצר
- מוצרים
- פּרוֹפִיל
- פרופילים
- לספק
- ובלבד
- מספק
- מטרה
- פיתון
- שאילתות
- שאלות
- R
- RAM
- חי
- נתונים גולמיים
- מוכן
- להפחית
- להתייחס
- באזור
- הירשם
- רשום
- רישום
- לשחרר
- לבקש
- משאב
- משאבים
- תוצאה
- תוצאות
- תפקיד
- תפקידים
- הפעלה
- ריצה
- משכורת
- מכירות
- אותו
- סולם
- מדע
- מַדְעָן
- מדענים
- תסריט
- סעיף
- סעיפים
- לִרְאוֹת
- נבחר
- לחצני מצוקה לפנסיונרים
- נפרד
- שרת
- שירותים
- מושב
- סט
- הצבה
- הגדרות
- התקנה
- שיתוף
- משותף
- שיתופים
- שיתוף
- היא
- צריך
- הראה
- סִימָן
- חָתוּם
- חתימה
- פָּשׁוּט
- יחיד
- תוכנה
- פיתוח תוכנה
- נמכרים
- פִּתָרוֹן
- פתרונות
- מקורות
- לעורר
- לערום
- שלב
- צעדים
- אחסון
- חנות
- מאוחסן
- חנויות
- פשוט
- סטודיו
- הוגש
- כזה
- לספק
- תומך
- מערכות
- שולחן
- תָג
- נבחרת
- תבנית
- זמני
- מבחן
- זֶה
- השמיים
- שֶׁלָהֶם
- אותם
- אז
- לכן
- זֶה
- אלה
- דרך
- ציר זמן
- ל
- כלים
- מעבר
- לנסות
- שתיים
- סוג
- בדרך כלל
- ui
- תחת
- בְּסִיסִי
- העלאה
- כתובת האתר
- us
- להשתמש
- מְשׁוּמָשׁ
- משתמש
- משתמשים
- שימושים
- באמצעות
- ערך
- לאמת
- גרסה
- באמצעות
- לצפיה
- לחזות
- ללכת
- we
- אינטרנט
- דפדפני אינטרנט
- שירותי אינטרנט
- היו
- מתי
- אשר
- כל
- יצטרך
- עם
- בתוך
- עובד
- היה
- לכתוב
- כתוב
- יאמל
- אתה
- זפירנט
- רוכסן