Amazon EMR Studio egy integrált fejlesztői környezet (IDE), amely egyszerűvé teszi az adattudósok és adatmérnökök számára az R, Python, Scala és PySpark nyelven írt adatmérnöki és adattudományi alkalmazások fejlesztését, megjelenítését és hibakeresését. Az EMR Studio teljes körűen felügyelt Jupyter notebookokat és eszközöket biztosít, például a Spark UI-t és a YARN Timeline Servert az EMR Studio munkaterületeken keresztül. EMR Studio munkaterületet csatolhat egy EMR-fürthöz, és felhasználhatja az EMR-fürt számítási teljesítményét, és adattudományi feladatokat futtathat a fürtön. Az adatokat gyakran az általa kezelt adattókban tárolják AWS-tó formáció, amely lehetővé teszi, hogy egy egyszerű engedélyezési vagy visszavonási mechanizmussal pontos hozzáférés-vezérlést alkalmazzon.
Örömmel mutatjuk be futásidejű szerepek az EMR Studio Workspaces számára. Mostantól meghatározhat egy futásidejű szerepet, és hozzárendelheti egy EMR-fürthöz, amikor EMR Studio munkaterületet csatol. Az EMR-fürt jobjai ezt a futásidejű szerepet fogják használni az AWS-erőforrások eléréséhez. A futásidejű szerepkör konfigurálása után használhatja a Lake Formationt is, és alkalmazhatja az EMR Studio Workspace által beküldött feladatokhoz az adatokhoz való finom hozzáférés szabályozását.
Korábban, amikor az EMR Studio munkaterületeket EMR-fürtökhöz csatolták, minden munkaterületnek ugyanazt kellett használnia. AWS Identity and Access Management (IAM) szerepkör – nevezetesen a klaszteré Amazon rugalmas számítási felhő (Amazon EC2) példányprofil. Ezért az ugyanahhoz az EMR-fürthöz kapcsolódó összes munkaterületnek ugyanaz az adathozzáférése volt. Az adatforrásokhoz való hozzáférés szabályozásához minden EMR Studio Workspace-nek más EMR-fürtöt kellett használnia, és több EMR-példányprofilra volt szükség.
Az Amazon EMR 6.11 kiadásától kezdve mostantól választhat egy futásidejű szerepkört, amikor EMR Studio munkaterületet csatol egy EMR-fürthöz. Ez a futásidejű szerepkör korlátozza a hozzáférést a munkaterület szintjén. Az EMR Studio Workspaces-ből futó Apache Livy és Apache Spark-feladatok csak a futásidejű szerepkörhöz kapcsolódó házirendek által engedélyezett adatokhoz és erőforrásokhoz lesznek jogosultak. Ezenkívül, ha a Lake Formation segítségével kezelt adattavakból éri el az adatokat, a Lake Formation engedélyei segítségével kényszerítheti ki az adatokhoz való hozzáférés pontos szabályozását. Ez segít csökkenteni a működési költségeket.
Ebben a bejegyzésben bemutatjuk, hogyan lehet futásidejű szerepköröket konfigurálni az EMR Studio munkaterületekhez, és hogyan lehet munkaterületet csatolni egy futásidejű szerepkörökkel rendelkező EMR-fürthöz. Mivel a nagyvállalatok általában több AWS-fiókot használnak, és ezek közül sok fióknak szüksége lehet egy egyetlen AWS-fiók által kezelt adattóhoz, példánk két AWS-fiókot használ. Elmagyarázzuk, hogyan lehet szabályozni az EMR Studio futásidejű szerepköreihez való hozzáférést, kezelni a Lake Formation segítségével egy Data Lake-ben lévő fiókok közötti adathozzáférést, valamint tábla- és oszlopszintű engedélyeket érvényesíteni az EMR futásidejű szerepkörökhöz.
Megoldás áttekintése
A finomszemcsés hozzáférés-szabályozás bemutatásához egy mintát készítünk AWS ragasztó cég nevű adatbázist, és kezelje az adatbázis-engedélyt a Lake Formationben. Az adatbázis két különálló táblázatból áll:
- alkalmazottak – Ez a táblázat információkat tárol a vállalat alkalmazottairól, beleértve az alkalmazotti azonosítót, nevet, osztályt és fizetést
- termékek – Ez a táblázat információkat tárol a vállalat által értékesített termékekről, beleértve a termékazonosítót, nevet, kategóriát és árat
Az adathozzáférés szabályozásának bemutatásához a következő adatfelhasználókat vesszük figyelembe:
- Alice, adattudós az értékesítési csapatban – Csak olvasási hozzáféréssel kell rendelkeznie az összes oszlophoz a
products
táblázat és a kiválasztott oszlopok, beleértve az uID-t, a nevet és a részleget aemployees
táblázat - Bob, adattudós az emberi erőforrások csapatában – Csak olvasási hozzáféréssel kell rendelkeznie az összes oszlophoz
employees
táblázat, és nem szabad hozzáférnie aproducts
táblázat
A több fiókra kiterjedő adatmegosztás bemutatásához két fiókot veszünk figyelembe:
- Adatkészítő fiók – Erre a beszámolóra úgy hivatkozunk, mint
123456789012
ebben a bejegyzésben. Ez a fiók kezeli a nyers adatokat Amazon egyszerű tárolási szolgáltatás (Amazon S3), és adatokat ír az adattóba. Acompany
adatbázisnak és tábláknak ebben a fiókban kell lenniük. - Adatok fogyasztói fiókja – Erre a beszámolóra úgy hivatkozunk, mint
111122223333
ebben a bejegyzésben. Ehhez a fiókhoz a felhasználók közvetlenül hozzáférnek adatelemzés céljából, és nincs írási hozzáférése az adatokhoz. Ehhez a fiókhoz Alice és Bob hozzáférhet.
Az architektúra a következőképpen valósul meg:
- Az adattermelői fiók egy adattót kezel. A nyers adatokat az S3 gyűjtődobozok tárolják, és az AWS ragasztóadat-katalógusában katalogizálják.
- Az adattermelői fiókban található Lake Formation szabályozza az adatkatalóguson keresztüli adathozzáférést, és több fiókra kiterjedő adatmegosztást biztosít az adatfogyasztói fiókkal.
- A Lake Formation az adatfogyasztói fiókban szabályozza az adatok tóhoz való fiókokon keresztüli hozzáférést a táblázat szintjén és a finomszemcsés Lake Formation engedélyeket. További információkért lásd: A finomszemcsés hozzáférés-szabályozás módszerei.
- Az adatfogyasztói fiók EMR Studio munkaterületei futásidejű szerepköröket használnak, amikor feladatokat futtatnak egy EMR-fürtön.
- Az EMR-fürt a Glue Data Cataloghoz csatlakozik az adatfogyasztói fiókban, és több fiókra kiterjedő adatmegosztással lekérdezi az adatokat az adattóból.
A következő diagram ezt az architektúrát szemlélteti.
A következő szakaszokban a Lake Formation segítségével fiókok közötti adatmegosztás, futásidejű szerepkörökkel rendelkező EMR Studio-munkaterület futtatása, valamint a hozzáférés-szabályozás részletes bemutatása.
Előfeltételek
A következő előfeltételekkel kell rendelkeznie:
Hozza létre az infrastruktúrát az adatelőállító fiókban
Hajtsa végre a következő lépéseket az infrastruktúra-erőforrások létrehozásához:
- Jelentkezzen be az adatszolgáltató AWS fiókjába (
123456789012
). - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Indítsa el a Stack alkalmazást CloudFormation sablon telepítéséhez a szükséges erőforrások létrehozásához.
- A DataLakeBucketSuffix, írja be az adattó által használt S3 vödör utótagját. A létrehozandó teljes S3-csoportnév a következő lesz
{AwsAccoundId}-{AwsRegion}-{DataLakeBucketSuffix}
. - A CloudFormation verem létrehozása után navigáljon a Kimenetek fülre, és rögzítse a verem értékét
DataLakeS3Bucket
használni a következő lépésben.
Hozzon létre adatfájlokat, és töltse fel őket az Amazon S3-ra az adattermelői fiókban
Konfigurálja az AWS parancssori felületet az IAM identitás használatára, engedéllyel a DataLakeS3BucketName fájlba való feltöltéshez az adatelőállító AWS-fiókban (123456789012
), vagy bejelentkezhet a CloudShellbe a AWS felügyeleti konzol. Hajtsa végre a következő lépéseket:
- A helyi gépen lépjen egy tetszőleges könyvtárba a cd paranccsal, például
cd ~
. - Futtassa a forgatókönyv val vel
chmod 744 create_sample_data.sh && ./create_sample_data.sh <DataLakeS3BucketName>
.
A szkript létrehoz egy alkönyvtárat tmp
az aktuális munkakönyvtárban hozza létre a tesztadatokat CSV-fájlokban, és töltse fel a fájlokat a DataLakeS3BucketName
S3 vödör.
Állítsa be a Lake Formation-t az adattermelői fiókban
Ebben a részben a Lake Formation adatelőállító fiókban történő beállításának lépéseit mutatjuk be.
Állítsa be a Lake Formation több fiókra kiterjedő adatmegosztási verzió beállításait
A Lake Formation több adatmegosztási verziót is támogat. Ebben a bejegyzésben a 3-as verziót használjuk. Ha többet szeretne megtudni az adatmegosztási verziók közötti különbségekről, lásd: A több fiókra kiterjedő adatmegosztási verzió beállításainak frissítése. Az adatmegosztási verzió módosításához lásd: Az új verzió engedélyezéséhez.
Regisztrálja az Amazon S3 helyet az adattó helyeként
Amikor regisztráljon egy Amazon S3 helyet a Lake Formationnél megadhat egy IAM-szerepet olvasási/írási jogosultságokkal az adott helyen. A regisztrációt követően, amikor az EMR-fürtök hozzáférést kérnek ehhez az Amazon S3 helyhez, a Lake Formation ideiglenes hitelesítő adatokat ad a megadott szerepkörhöz az adatok eléréséhez. Már létrehoztuk a szerepet LakeFormationCompanyDatabaseDataAccessRole
erre a célra az előző lépésben. Az Amazon S3 hely adattó helyként való regisztrálásához hajtsa végre a következő lépéseket:
- Nyissa meg a Lake Formation konzolt a Lake Formation data lake adminisztrátorával az adatelőállító fiókban (
123456789012
). - A navigációs panelen válassza a lehetőséget Data tó helyei alatt Adminisztráció.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Regisztrálja a helyet.
- A Amazon S3 elérési út, belép
s3://<DataLakeS3BucketName>/company-database
. - A IAM szerepkör, belép
LakeFormationCompanyDatabaseDataAccessRole
. - A Engedélyezési módválassza Tóképződmény.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Regisztrálja a helyet.
Az IAMAllowedPrincipals számára biztosított engedélyek visszavonása
A IAMAllowedPrincipals
csoportba tartoznak azok az IAM-felhasználók és szerepkörök, akiknek hozzáférésük van az adatkatalógus-erőforrásokhoz az IAM-irányelvek szerint. Nak nek érvényesíteni a Tóképződmény modelljét, kell vonja vissza az engedélyt az IAMAllowedPrincipalstól a következő lépések segítségével:
- Nyissa meg a Lake Formation konzolt a Lake Formation Data Lake rendszergazdájával az adattermelői fiókban.
- A navigációs panelen válassza a lehetőséget Data Lake engedélyek az Engedélyek alatt.
- Engedélyek szűrése a következő szerint
Database = company
és aPrinciple=IAMAllowedPrinciples
. - Válassza ki a megbízónak adott összes engedélyt
IAMAllowedPrincipals
És válasszon Színvétés.
Adja meg az alkalmazásintegrációs beállításokat
Az EMR-fürt engedélyeinek kényszerítéséhez regisztrálnia kell egy munkamenetcímke-értéket a Lake Formation szolgáltatásban. A Lake Formation ezt a munkamenet-címkét használja a hívók engedélyezésére és az adattóhoz való hozzáférés biztosítására. Regisztrálunk Amazon EMR
munkamenetcímke értékeként. Erre az értékre hivatkozni fog a biztonsági konfiguráció az EMR-klaszter létrehozásakor.
Állítsa be a munkamenet címkét a következő lépésekkel:
- Nyissa meg a Lake Formation konzolt a Lake Formation Data Lake rendszergazdájával az adattermelői fiókban.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Alkalmazásintegrációs beállítások alatt Adminisztráció a navigációs ablaktáblában.
- választ Engedélyezze a külső motorok számára az adatok szűrését a Lake Formation által regisztrált Amazon S3 helyeken.
- A Munkamenet címke értékei, belép
Amazon EMR
. - A AWS-fiókazonosítók, adja meg az adatfogyasztói AWS-fiók azonosítóját (
111122223333
). - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Megtakarítás.
Ossza meg az adatbázist és a táblákat az adatfogyasztói fiókkal
Mostantól engedélyeket adunk az adatfogyasztói AWS-fióknak, beleértve a megadható engedélyeket is. Ez lehetővé teszi a Lake Formation Data Lake rendszergazdája számára az adatfogyasztói fiókban, hogy szabályozza a fiókon belüli adatokhoz való hozzáférést.
Adjon adatbázis-engedélyeket az adatfogyasztói fiókhoz
Hajtsa végre a következő lépéseket:
- Nyissa meg a Lake Formation konzolt a Lake Formation Data Lake rendszergazdájával az adattermelői fiókban.
- A navigációs panelen válassza a lehetőséget Adatbázisok.
- Válassza ki az adatbázist
company
, és a Hozzászólások menü alatt Engedélyek, választ Grant. - A Alapelvek válasszon Külső számlák és adja meg az adatfogyasztói AWS-fiókot (
111122223333
). - A LF-címkék vagy katalógus-források szakaszban válassza
company
mert Adatbázisok. - A Adatbázis engedélyek válasszon Írja le mindkét Adatbázis engedélyek és a Megadható engedélyek.
Ez lehetővé teszi a Data Lake rendszergazdája számára az adatfogyasztói fiókban, hogy leírja az adatbázist, és leírási engedélyeket adjon az adatfogyasztói fiók többi megbízójának.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Grant.
Táblázatengedélyek megadása az adatfogyasztói fióknak
Hajtsa végre a következő lépéseket:
- Nyissa meg a Lake Formation konzolt a Lake Formation Data Lake rendszergazdájával az adattermelői fiókban.
- A navigációs panelen válassza a lehetőséget Asztalok.
- Válassza ki a
products
táblázat, amely acompany
adatbázis, és a Hozzászólások menü alatt Engedélyek, választ Grant. - A Alapelvek válasszon Külső számlák és adja meg az adatfogyasztói AWS-fiókot (
111122223333
). - A LF-címkék vagy katalógus-források válasszon Elnevezett adatkatalógus-források és adja meg a következőket:
- A Adatbázisok, választ
company
. - A Asztalok, választ
products
és aemployees
.
- A Adatbázisok, választ
- A Táblázatengedélyek szakaszban válassza választ és a Írja le mindkét Táblázatengedélyek és a Megadható engedélyek.
Ez lehetővé teszi a Data Lake rendszergazdája számára az adatfogyasztói fiókban, hogy kiválassza és leírja a táblákat, és megadja a tábla kiválasztására és leírására vonatkozó jogosultságokat az adatfogyasztói fiók többi tagjának.
- A Adatjogosultságok válasszon Minden adathoz való hozzáférés.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Grant.
Ezzel befejeztük az adatelőállító fiók beállítását.
Állítsa be az infrastruktúrát az adatfogyasztói fiókban
Hajtsa végre a következő lépéseket az infrastruktúra-erőforrások létrehozásához:
- Jelentkezzen be az adatfogyasztói fiókba (
111122223333
). - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Verem indítása CloudFormation sablon telepítéséhez a szükséges erőforrások létrehozásához.
- A Kiadási címke, adja meg a használni kívánt Amazon EMR kiadási címkét, amely csak emr-6.11 vagy újabb lehet.
- A InstanceType, válassza ki az EMR-fürt példánytípusát, például r4.4xlarge.
- A EMRS3BucketNameUtótag, írja be az S3 csoport utótagját az EMR-fürtnaplók és EMR-jegyzetfüzet-fájlok tárolásához. A létrehozandó teljes S3 csoportnév a következő lesz
{AWSAccoundId}-{AWSRegion}-{EMRS3BucketNameSuffix}
. - A S3PathToInTransitCertificate, adja meg az átvitel közbeni titkosításhoz használt .pem fájlokat tartalmazó .zip fájl S3 elérési útját.
A .pem fájlokat tartalmazó .zip fájl létrehozására és az S3 tárolóba való feltöltésére vonatkozó utasításokért tekintse meg a következőt: Tanúsítványok biztosítása az Amazon EMR titkosítással szállított adatok titkosításához.
- A CloudFormation verem létrehozása után navigáljon a Kimenetek a verem lapja.
- Ragadja meg az értékét
EMRStudioLink
az EMR Stúdióba való bejelentkezéshez.
Fogadja el az erőforrás-megosztást az adatfogyasztói fiókban
A megosztott erőforrásokhoz való hozzáféréshez először el kell fogadnia a meghívást.
- Nyissa meg az AWS RAM-hozzáféréssel rendelkező IAM-azonosítóval rendelkező adatfogyasztói fiók AWS RAM-konzolját.
- A navigációs panelen válassza a lehetőséget Erőforrás megosztások alatt Megosztotta velem.
Két függőben lévő erőforrás-megosztást kell látnia az adatelőállítói fiókból.
- Mindkét erőforrás-megosztás elfogadása.
Meg kell látnod a company
adatbázis, employees
asztal, és products
táblázat az Adatkatalógusban.
Állítsa be a Lake Formationt az adatfogyasztói fiókban
Ebben a részben a Lake Formation adatfogyasztói fiókban történő beállításának lépéseit mutatjuk be.
Adja meg az alkalmazásintegrációs beállításokat
Az adattermelői fiók beállításához hasonlóan az Amazon EMR-t munkamenetcímkeként kell regisztrálnia. Erre az értékre hivatkozik a biztonsági konfiguráció az EMR-fürt létrehozásakor a CloudFormation veremben.
Ehhez hajtsa végre a következő lépéseket:
- Nyissa meg a Lake Formation konzolt a Lake Formation data lake rendszergazdájával az adatfogyasztói fiókban (
111122223333
). - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Alkalmazásintegrációs beállítások alatt Adminisztráció a navigációs ablaktáblában.
- választ Engedélyezze a külső motorok számára az adatok szűrését a Lake Formation által regisztrált Amazon S3 helyeken.
- A Munkamenet címke értékei, belép
Amazon EMR
. - A AWS-fiókazonosítók, adja meg az adatfogyasztói AWS-fiók azonosítóját (
111122223333
). - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Megtakarítás.
Leírási engedélyek megadása futásidejű szerepkörökhöz az alapértelmezett adatbázisban
Ha nem rendelkezik alapértelmezett adatbázissal a Lake Formationben, vagy az alapértelmezett adatbázisnak már van engedélye, amelyet megadhat IAMAllowedPrinciples
, kihagyhatja ezt a lépést.
Az Amazon EMR alapértelmezés szerint az alapértelmezett adatbázist ellenőrzi. Ha már rendelkezik alapértelmezett adatbázissal a Lake Formationben, a következő lépések végrehajtásával adja meg a leírási engedélyt az alapértelmezett adatbázis futásidejű szerepkörei számára:
- Nyissa meg a Lake Formation konzolt a Lake Formation Data Lake rendszergazda felhasználójával az adatfogyasztói fiókban.
- A navigációs panelen válassza a lehetőséget Adatbázisok.
- Válassza ki az alapértelmezett adatbázist, ellenőrizze, hogy a tulajdonosi fiók azonosítója az adatfogyasztói fiók (
111122223333
), és a Hozzászólások menüben válasszon Grant. - A Alapelvek szakaszválassza IAM felhasználók és szerepkörök.
- A IAM felhasználók és szerepkörök, választ
sales-runtime-role
és ahuman-resource-runtime-role
. - A LF-címkék vagy katalógus-forrásokválassza Elnevezett adatkatalógus-források és válassza ki az alapértelmezett beállítást Adatbázisok.
- A Adatbázis engedélyek szakasz, for Adatbázis engedélyek, választ Írja le.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Grant.
Hozzon létre egy erőforráshivatkozást a megosztott adatbázishoz
Az adatelőállító AWS-fiók által megosztott adatbázis- és tábla-erőforrások eléréséhez létre kell hoznia a forrás link az adatfogyasztói AWS-fiókban. Az erőforráshivatkozás egy adatkatalógus-objektum, amely egy helyi vagy megosztott adatbázisra vagy táblára mutató hivatkozás. Miután létrehozott egy erőforráshivatkozást egy adatbázishoz vagy táblához, az erőforráshivatkozás nevét bárhol használhatja, ahol az adatbázis- vagy táblanevet használná. Ebben a lépésben engedélyt ad az erőforrás-hivatkozásokra a futásidejű szerepkör elveire. A futásidejű szerepkörök ezután hozzáférnek a megosztott adatbázisokban és az alapul szolgáló táblákban lévő adatokhoz az erőforráshivatkozáson keresztül.
Erőforráshivatkozás létrehozásához hajtsa végre a következő lépéseket:
- Nyissa meg a Lake Formation konzolt a Lake Formation Data Lake rendszergazdájával az adatfogyasztói fiókban.
- A navigációs panelen válassza a lehetőséget Adatbázisok.
- Válassza ki a
company
adatbázis, ellenőrizze, hogy a tulajdonosi fiók azonosítója az adatelőállító fiók (123456789012
), és a Hozzászólások menüben válasszon Erőforrás hivatkozások létrehozása. - A Erőforrás hivatkozás neve, írja be az erőforráshivatkozás nevét (például
company-shared
). - A Megosztott adatbázis régiója, válassza ki a régiót
company
adatbázisban. - A Megosztott adatbázis, válassza ki a céges adatbázist.
- A Megosztott adatbázis tulajdonosi azonosítója, adja meg az adatelőállító fiók számlaazonosítóját (
123456789012
). - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Teremt.
Engedélyek megadása az erőforráshivatkozáshoz a futásidejű szerepkör elvéhez
Adjon engedélyeket az erőforráshivatkozáshoz a sales-runtime-role és a human-resource-runtime-role-hoz a következő lépésekkel:
- Nyissa meg a Lake Formation konzolt a Lake Formation Data Lake rendszergazdájával az adatfogyasztói fiókban.
- A navigációs panelen válassza a lehetőséget Adatbázisok.
- Válassza ki az erőforrás hivatkozását (
company-shared
) és a Hozzászólások menüben válasszon Grant. - A Alapelvek válasszon IAM felhasználók és szerepkörök, és válasszon
sales-runtime-role
és ahuman-resource-runtime-role
. - A LF-címkék vagy katalógus-források szakasz, for Adatbázisok, választ
company-shared
. - A Erőforrás-hivatkozási engedélyek válasszon Írja le.
Ez lehetővé teszi a futásidejű szerepkörök számára az erőforráshivatkozás leírását. Nem választunk ki megadható engedélyeket, mert a futásidejű szerepkörök nem adhatnak engedélyt más elvekhez.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Grant.
Adjon engedélyt a tábláknak a futásidejű szerepkör elvéhez
Engedélyeket kell adnia a táblákhoz sales-runtime-role
és a human-resource-runtime-role
az adatokhoz való hozzáférés engedélyezése:
Human-resource-runtime-role
Leírási és kiválasztási jogosultságokkal kell rendelkeznie az összes oszlopban aemployees
táblát, és nincsenek engedélyek aproducts
táblázat.Sales-runtime-role
kijelölési jogosultságokkal kell rendelkeznie az oszlopokhozuid
,name
ésdepartment
aemployees
táblázatot, és írja le és válassza ki a jogosultságokat az összes oszlopbanproducts
táblázat.
Adjon engedélyt az alkalmazottak táblájára az emberi erőforrás futásidejű szerepkörhöz
Hajtsa végre a következő lépéseket:
- Nyissa meg a Lake Formation konzolt a Lake Formation Data Lake rendszergazdájával az adatfogyasztói fiókban.
- A navigációs panelen válassza a lehetőséget Adatbázisok.
- Válassza ki az erőforrás hivatkozását (
company-shared
) és a Hozzászólások menüben válasszon Grant on Target. - A Alapelvek szakaszválassza IAM felhasználók és szerepkörök, majd válassza ki
human-resource-runtime-role
. - A LF-címkék vagy katalógus-források válasszon Elnevezett adatkatalógus-források és adja meg a következőket:
- A Adatbázisok, választ
company
. - A Asztalokválaszt
employees
.
- A Adatbázisok, választ
- A Táblázatengedélyek szakasz, for Táblázatengedélyekválassza Írja le és a választ.
- A Adatjogosultságok válasszon Minden adathoz való hozzáférés.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Grant.
Adjon engedélyt az alkalmazottak táblázatában az értékesítési futásidejű szerepkörhöz
Hajtsa végre a következő lépéseket:
- Nyissa meg a Lake Formation konzolt a Lake Formation Data Lake rendszergazdájával az adatfogyasztói fiókban.
- A navigációs panelen válassza a lehetőséget Adatbázisok.
- Válassza ki az erőforrás hivatkozását (
company-shared
) és a Hozzászólások menüben válasszon Grant on Target. - A Alapelvek szakaszválassza IAM felhasználók és szerepkörök, majd válassza ki
sales-runtime-role
. - A LF-címkék vagy katalógus-források válasszon Elnevezett adatkatalógus-források és adja meg a következőket:
- A Adatbázisok, választ
company
. - A Asztalok, választ
employees
.
- A Adatbázisok, választ
- A Táblázatengedélyek szakasz, for Táblázatengedélyekválassza választ.
- A Adatjogosultságok válasszon Oszlop alapú hozzáférés.
- választ Oszlopok szerepeltetése és válassza a
uid
,name
ésdepartment
oszlopok. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Grant.
Adjon engedélyt a terméktáblázathoz az értékesítési futásidejű szerepkörhöz
Hajtsa végre a következő lépéseket:
- Nyissa meg a Lake Formation konzolt a Lake Formation Data Lake rendszergazdájával az adatfogyasztói fiókban.
- A navigációs panelen válassza a lehetőséget Adatbázisok.
- Válassza ki az erőforrás hivatkozását (
company-shared
) és a Hozzászólások menüben válasszon Grant on Target. - A Alapelvek szakaszválassza IAM felhasználók és szerepkörök, majd válassza ki
sales-runtime-role
. - A LF-címkék vagy katalógus-források válasszon Elnevezett adatkatalógus-források és adja meg a következőket:
- A Adatbázisok, választ
company
. - A Asztalok, választ
products
.
- A Adatbázisok, választ
- A Táblázatengedélyek szakasz, for Táblázatengedélyekválassza választ és a Írja le.
- A Adatjogosultságok válasszon Minden adathoz való hozzáférés.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Grant.
Jelentkezzen be az EMR Stúdióba, és használja az EMR Studio munkaterületet
Válts szerepet nak nek alice-role
or bob-role
a konzolon különböző webböngészőkkel a hozzáférés tesztelésére. Nyissa meg a EMRStudioLink
URL a CloudFormation verem kimenetéből az EMR Studioba való bejelentkezéshez minden szerepkörrel, majd hajtsa végre a következő lépéseket:
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a munkaterületek a navigációs ablakban, és válassza ki Munkaterület létrehozása.
- Adja meg a munkaterület nevét és leírását.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Munkaterület létrehozása.
Egy új, JupyterLab-ot tartalmazó lap automatikusan megnyílik, amikor a munkaterület készen áll. Ha szükséges, engedélyezze az előugró ablakokat a böngészőjében.
- Választa a Kiszámít ikont a navigációs panelen az EMR Studio munkaterület számítási motorral való csatlakoztatásához.
- választ EMR-klaszter az EC2-n mert Számítási típus.
- Válassza ki az AWS CloudFormation segítségével létrehozott EMR-fürtazonosítót.
- A Futóidejű szerepkör, választ
sales-runtime-role
ha mint be van jelentkezvealice-role
. Válaszd kihuman-resource-runtime-role
ha mint be van jelentkezvebob-role
. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a csatolása.
Futtassa a kódot az EMR Studio munkaterületen, és ellenőrizze az adatokhoz való hozzáférést
Futtassa a következő kódot az EMR Studio munkaterületen PySpark kernellel, miután bejelentkezett az alice-role-val vagy a bob-role-lal:
Különböző szerepek használatakor eltérő eredményeket kell látnia.
A Lake Formationben lévő adathozzáférési konfigurációnk szerint Alice teljes körű adathozzáféréssel fog rendelkezni a következőhöz: products
asztal. Megtekintheti az összes oszlopot, kivéve a fizetést employees
táblázat.
Bob számára a Lake Formation-i adathozzáférési konfigurációnk szerint teljes adathozzáféréssel fog rendelkezni a employees
asztalhoz, de nem fér hozzá a products
táblázat.
Tisztítsuk meg
Ha végzett ezzel a megoldással, tisztítsa meg erőforrásait:
- Állítsa le és törölje az adatfogyasztói AWS-fiókban létrehozott EMR Studio munkaterületeket.
- Törölje az S3 vödör összes tartalmát
EMRS3Bucket
az adatfogyasztói AWS-fiókban. - Törölje a CloudFormation-vermet az adatfogyasztói AWS-fiókból.
- Törölje az S3 vödör összes tartalmát
DataLakeS3Bucket
az adatszolgáltató AWS fiókjában. - Törölje a CloudFormation-vermet az adatelőállító AWS-fiókból.
Következtetés
Ez a bejegyzés bemutatta, hogyan kapcsolódhat futásidejű szerepkörökkel egy EMR Studio Workspace-hez az Amazon EMR-rel, hogy fiókokon átívelő finomszemcsés adathozzáférés-vezérlést alkalmazhasson a Lake Formation segítségével. Bemutattuk azt is, hogy több EMR Studio-felhasználó hogyan tud csatlakozni ugyanahhoz az EMR-fürthöz, mindegyik futásidejű szerepkört használva, amelynek hatóköre az adatokhoz való egyéni hozzáférési szintjüknek megfelelő engedélyekkel rendelkezik.
Ha többet szeretne megtudni az EMR Studio Workspaces Lake Formation szolgáltatással való használatáról, lásd: Futtasson egy EMR Studio munkaterületet futásidejű szerepkörrel. Javasoljuk, hogy próbálja ki ezt az új funkciót, és lépjen kapcsolatba velünk, ha kérdése vagy visszajelzése van!
A szerzőkről
Ashley Zhou az AWS szoftverfejlesztő mérnöke. Érdekli az adatelemzés és az elosztott rendszerek.
Srividya Parthasarathy az AWS Lake Formation csapatának vezető Big Data építésze. Élvezi az analitikai és adatháló-megoldásokat az AWS-en, és megosztja azokat a közösséggel.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/big-data/use-iam-runtime-roles-with-amazon-emr-studio-workspaces-and-aws-lake-formation-for-cross-account-fine-grained-access-control/
- :van
- :is
- :nem
- $ UP
- 100
- 107
- 11
- 20
- 7
- 8
- a
- Képes
- Rólunk
- Elfogad!
- hozzáférés
- Az adatokhoz való hozzáférés
- igénybe vett
- hozzáférhető
- Szerint
- Fiók
- Fiókok
- át
- Után
- alice
- Minden termék
- lehetővé
- megengedett
- lehetővé teszi, hogy
- már
- Is
- amazon
- Amazon EC2
- Amazon EMR
- Az Amazon Web Services
- an
- elemzés
- analitika
- és a
- bármilyen
- Apache
- Apache Spark
- Alkalmazás
- alkalmazások
- alkalmaz
- építészet
- VANNAK
- AS
- At
- csatolja
- engedélyez
- automatikusan
- AWS
- AWS felhőképződés
- AWS ragasztó
- AWS-tó formáció
- BE
- mert
- tartozik
- között
- Nagy
- Big adatok
- gabona
- mindkét
- böngésző
- böngészők
- Épület
- de
- by
- TUD
- elfog
- katalógus
- Kategória
- CD
- tanúsítványok
- változik
- ellenőrizze
- választás
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- ragadozó ölyv
- Fürt
- kód
- Oszlopok
- közösség
- vállalat
- Társaságé
- teljes
- kitöltésével
- Kiszámít
- Configuration
- Csatlakozás
- összeköt
- Fontolja
- áll
- Konzol
- fogyasztó
- tartalmaz
- tartalom
- ellenőrzés
- teremt
- készítette
- létrehozása
- Hitelesítő adatok
- Jelenlegi
- dátum
- adat hozzáférés
- adatelemzés
- Adatelemzés
- adattó
- adat-tudomány
- adattudós
- adatmegosztás
- adatbázis
- adatbázisok
- alapértelmezett
- meghatározott
- bizonyítani
- igazolták
- osztály
- telepíteni
- leírni
- leírás
- Fejleszt
- Fejlesztés
- különbségek
- különböző
- közvetlenül
- megosztott
- elosztott rendszerek
- do
- Nem
- ne
- le-
- minden
- munkavállaló
- alkalmazottak
- lehetővé
- lehetővé téve
- ösztönzése
- titkosítás
- érvényesíteni
- Motor
- mérnök
- Mérnöki
- Mérnökök
- Motorok
- belép
- Vállalatok
- Környezet
- Eter (ETH)
- példa
- Kivéve
- Magyarázza
- külső
- filé
- Fájlok
- szűrő
- vezetéknév
- következő
- következik
- A
- képződés
- ból ből
- Tele
- teljesen
- funkcionalitás
- adott
- Go
- irányelv szabályozza
- biztosít
- megadott
- Csoport
- kellett
- boldog
- Legyen
- he
- segít
- Hogyan
- How To
- HTML
- http
- HTTPS
- emberi
- EMBERI ERŐFORRÁS
- Emberi erőforrások
- IAM
- ID
- Identitás
- if
- illusztrálja
- végre
- in
- magában foglalja a
- Beleértve
- egyéni
- információ
- Infrastruktúra
- példa
- utasítás
- integrált
- integráció
- érdekelt
- bevezet
- meghívás
- IT
- Állások
- jpg
- Címke
- tó
- tavak
- nagy
- Nagy vállalkozások
- indít
- TANUL
- szint
- LIMIT
- LINK
- linkek
- helyi
- elhelyezkedés
- helyszínek
- gép
- csinál
- KÉSZÍT
- kezelése
- sikerült
- vezetés
- kezeli
- sok
- egyező
- mechanizmus
- Menü
- háló
- esetleg
- több
- mozog
- többszörös
- kell
- név
- Nevezett
- Keresse
- Navigáció
- elengedhetetlen
- Szükség
- szükséges
- Új
- következő
- nem
- jegyzetfüzet
- laptopok
- Most
- tárgy
- of
- gyakran
- on
- csak
- nyitva
- operatív
- or
- Más
- mi
- ki
- teljesítmény
- tulajdonos
- üvegtábla
- ösvény
- alatt
- engedély
- engedélyek
- Plató
- Platón adatintelligencia
- PlatoData
- Politikák
- állás
- hatalom
- előfeltételek
- előző
- Fő
- megbízók
- alapelv
- elvek
- termelő
- Termékek
- Termékek
- profil
- Profilok
- ad
- feltéve,
- biztosít
- cél
- Piton
- lekérdezések
- Kérdések
- R
- RAM
- Nyers
- nyers adatok
- kész
- csökkenteni
- utal
- vidék
- Regisztráció
- nyilvántartott
- regisztráció
- engedje
- kérni
- forrás
- Tudástár
- eredményez
- Eredmények
- Szerep
- szerepek
- futás
- futás
- fizetés
- értékesítés
- azonos
- Scala
- Tudomány
- Tudós
- tudósok
- forgatókönyv
- Rész
- szakaszok
- lát
- kiválasztott
- idősebb
- különálló
- szerver
- Szolgáltatások
- ülés
- készlet
- beállítás
- beállítások
- felépítés
- Megosztás
- megosztott
- Megoszt
- megosztás
- ő
- kellene
- kimutatta,
- <p></p>
- aláírt
- aláírás
- Egyszerű
- egyetlen
- szoftver
- szoftverfejlesztés
- eladott
- megoldások
- Megoldások
- Források
- Szikra
- verem
- Lépés
- Lépései
- tárolás
- tárolni
- memorizált
- árnyékolók
- egyértelmű
- stúdió
- benyújtott
- ilyen
- kínálat
- Támogatja
- Systems
- táblázat
- TAG
- csapat
- sablon
- ideiglenes
- teszt
- hogy
- A
- azok
- Őket
- akkor
- ebből adódóan
- ezt
- azok
- Keresztül
- időrendben
- nak nek
- szerszámok
- tranzit
- megpróbál
- kettő
- típus
- jellemzően
- ui
- alatt
- mögöttes
- Feltöltés
- URL
- us
- használ
- használt
- használó
- Felhasználók
- használ
- segítségével
- érték
- ellenőrzése
- változat
- keresztül
- Megnézem
- Képzeld
- séta
- we
- háló
- Webböngészők
- webes szolgáltatások
- voltak
- amikor
- ami
- egész
- lesz
- val vel
- belül
- dolgozó
- lenne
- ír
- írott
- yaml
- te
- A te
- zephyrnet
- Postai irányítószám