Amazon EMR Studio on integroitu kehitysympäristö (IDE), jonka avulla datatieteilijät ja tietosuunnittelijat voivat helposti kehittää, visualisoida ja korjata R-, Python-, Scala- ja PySpark-kielillä kirjoitettuja tietotekniikan ja datatieteen sovelluksia. EMR Studio tarjoaa täysin hallittuja Jupyter-muistikirjoja ja työkaluja, kuten Spark UI ja YARN Timeline Server EMR Studio Workspaces -palvelun kautta. Voit liittää EMR Studio Workspacen EMR-klusteriin ja käyttää EMR-klusterin laskentatehoa ja suorittaa datatieteen töitä klusterissa. Tiedot tallennetaan usein hallinnoimiin tietojärviin AWS-järvien muodostuminen, jonka avulla voit soveltaa tarkkaa pääsynhallintaa yksinkertaisella myöntämis- tai peruutusmekanismilla.
Olemme iloisia voidessamme esitellä ajonaikaiset roolit EMR Studio Workspacesille. Voit nyt määrittää ajonaikaisen roolin ja määrittää sen EMR-klusteriin, kun liität EMR Studio -työtilan. EMR-klusterin työt käyttävät tätä ajonaikaista roolia AWS-resurssien käyttöön. Kun olet määrittänyt ajonaikaisen roolin, voit myös käyttää Lake Formationia ja soveltaa EMR Studio Workspacen lähettämiin töihin tarkkoja tietojen käyttöoikeuksia.
Aikaisemmin, kun EMR Studio -työtiloja liitettiin EMR-klusteriin, kaikkien työtilojen piti käyttää samaa AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) rooli – nimittäin klusterin Amazonin elastinen laskentapilvi (Amazon EC2) ilmentymän profiili. Siksi kaikilla samaan EMR-klusteriin liitetyillä työtiloilla oli sama pääsy tietoihin. Jokaisen EMR Studio Workspacen täytyi käyttää erilaista EMR-klusteria tietolähteiden käytön hallitsemiseksi, ja tarvittiin useita EMR-instanssiprofiileja.
Amazon EMR 6.11:n julkaisusta alkaen voit nyt valita ajonaikaisen roolin, kun liität EMR Studio Workspacen EMR-klusteriin. Tämä ajonaikainen rooli rajoittaa käyttöoikeuksia työtilatasolla. Apache Livy- ja Apache Spark -työlläsi, jotka suoritetaan EMR Studio Workspacesista, on oikeus käyttää vain niitä tietoja ja resursseja, jotka ajonaikaiseen rooliin liitetyt käytännöt sallivat. Lisäksi, kun tietoja käytetään Lake Formationin avulla hallinnoiduista datajärvistä, voit pakottaa tarkan tietojen käytön hallinnan Lake Formationin käyttöoikeuksilla. Tämä auttaa vähentämään käyttökustannuksia.
Tässä viestissä esittelemme, kuinka EMR Studio -työtilojen ajonaikaiset roolit määritetään ja työtila liitetään EMR-klusteriin ajonaikaisilla rooleilla. Koska suuret yritykset käyttävät yleensä useita AWS-tilejä ja monet näistä tileistä saattavat tarvita pääsyn yhden AWS-tilin hallinnoimaan datajärveen, esimerkkimme käyttää kahta AWS-tiliä. Selitämme, kuinka hallita EMR Studion ajonaikaisten roolejen käyttöä, hallinnoida tietojen käyttöä datajärven tilien välillä Lake Formationin kautta ja pakottaa taulukkotason ja saraketason käyttöoikeudet EMR-ajonaikaisiin rooleihin.
Ratkaisun yleiskatsaus
Esittelemme hienorakeista kulunvalvontaa luomalla näytteen AWS-liima tietokanta nimeltä yritys ja hallitse tietokannan käyttöoikeuksia Lake Formationissa. Tietokanta koostuu kahdesta erillisestä taulukosta:
- työntekijää – Tämä taulukko tallentaa tiedot yrityksen työntekijöistä, mukaan lukien työntekijän tunnus, nimi, osasto ja palkka
- tuotteet – Tämä taulukko sisältää tiedot yrityksen myymistä tuotteista, mukaan lukien tuotetunnus, nimi, kategoria ja hinta
Tietojen käytön hallinnan osoittamiseksi otamme huomioon seuraavat datan käyttäjät:
- Alice, myyntitiimin datatieteilijä – Hänellä pitäisi olla vain luku -oikeudet kaikkiin sarakkeisiin
products
taulukko ja valitut sarakkeet, mukaan lukien uID, nimi ja osastoemployees
taulukko - Bob, tietotieteilijä henkilöstötyöryhmässä – Hänellä pitäisi olla vain luku -oikeus kaikkiin sarakkeisiin
employees
pöytään, eikä sillä pitäisi olla pääsyä siihenproducts
taulukko
Tilien välisen tietojen jakamisen osoittamiseksi tarkastelemme kahta tiliä:
- Tietojen tuottajan tili – Kutsumme tätä tiliä nimellä
123456789012
tässä postauksessa. Tämä tili hallinnoi raakadataa Amazonin yksinkertainen tallennuspalvelu (Amazon S3) ja kirjoittaa dataa datajärveen. Thecompany
tietokannan ja taulukoiden tulee olla tällä tilillä. - Datan kuluttajatili – Kutsumme tätä tiliä nimellä
111122223333
tässä postauksessa. Käyttäjät käyttävät tätä tiliä suoraan tietojen analysointia varten, eikä sillä ole kirjoitusoikeutta tietoihin. Liisa ja Bob voivat käyttää tätä tiliä.
Arkkitehtuuri toteutetaan seuraavasti:
- Datan tuottajatili hallinnoi datajärveä. Raakadata tallennetaan S3-ämpäriin ja luetteloidaan AWS-liimatietokatalogissa.
- Datan tuottajatilin Lake Formation hallitsee tietojen käyttöä Data Catalogin kautta ja tarjoaa tilien välisen tiedon jakamisen datan kuluttajatilin kanssa.
- Datan kuluttajatilin Lake Formation hallitsee tilien välistä pääsyä datajärveen taulukkotasolla ja Lake Formationin hienojakoisia käyttöoikeuksia. Lisätietoja on kohdassa Menetelmät hienorakeiseen kulunvalvontaan.
- Datan kuluttajatilin EMR Studio -työtilat käyttävät ajonaikaisia rooleja suoritettaessa töitä EMR-klusterissa.
- EMR-klusteri muodostaa yhteyden Glue Data Catalogiin datan kuluttajatilillä ja kyselee dataa datajärvestä tilien välisen tiedonjaon kautta.
Seuraava kaavio kuvaa tätä arkkitehtuuria.
Seuraavissa osioissa käymme läpi vaiheet tietojen jakamiseksi tilien välillä Lake Formationin kautta, suoritamme EMR Studio Workspacen ajonaikaisilla rooleilla ja esittelemme tarkan kulunhallinnan.
Edellytykset
Sinulla tulee olla seuraavat edellytykset:
Luo infrastruktuuri tiedon tuottajatilillä
Luo infrastruktuuriresurssit suorittamalla seuraavat vaiheet:
- Kirjaudu sisään tietojen tuottajan AWS-tilille (
123456789012
). - Valita Käynnistä pino ottaaksesi käyttöön CloudFormation-mallin tarvittavien resurssien luomiseksi.
- varten DataLakeBucketSuffix, kirjoita datajärven käyttämän S3-alueen pääte. Koko luotava S3-säihön nimi on
{AwsAccoundId}-{AwsRegion}-{DataLakeBucketSuffix}
. - Kun CloudFormation-pino on luotu, siirry kohtaan Lähdöt pinon välilehti ja kaappaa arvo
DataLakeS3Bucket
käytettäväksi seuraavassa vaiheessa.
Luo datatiedostoja ja lataa ne Amazon S3:een tiedontuottajatilillä
Määritä AWS CLI käyttämään IAM-identiteettiä luvalla ladata DataLakeS3BucketName datan tuottajan AWS-tilille (123456789012
), tai voit kirjautua sisään CloudShelliin käyttämällä AWS-hallintakonsoli. Suorita seuraavat vaiheet:
- Siirry paikallisella koneella valitsemaasi hakemistoon cd-komennolla, esimerkiksi
cd ~
. - Suorita käsikirjoitus with
chmod 744 create_sample_data.sh && ./create_sample_data.sh <DataLakeS3BucketName>
.
Skripti luo alihakemiston tmp
Luo testitiedot nykyisessä työhakemistossasi CSV-tiedostoina ja lataa tiedostot DataLakeS3BucketName
S3-kauha.
Määritä Lake Formation tietojen tuottajatilillä
Tässä osiossa käymme läpi vaiheet Lake Formationin määrittämiseksi tietojen tuottajatilillä.
Määritä Lake Formationin tilien välinen tietojen jakamisen versioasetukset
Lake Formation tukee useita tiedonjakoversioita. Tässä viestissä käytämme versiota 3. Lisätietoja tietojen jakamisversioiden välisistä eroista on kohdassa Päivitetään tilien välisen tietojen jakamisen versioasetuksia. Jos haluat muuttaa tietojen jakamisversiota, katso Ota uusi versio käyttöön.
Rekisteröi Amazon S3 -sijainti datajärven sijainniksi
Kun olet rekisteröi Amazon S3 -sijainti Lake Formationin kanssa määrität IAM-roolin, jolla on luku-/kirjoitusoikeudet kyseiselle sijainnille. Rekisteröinnin jälkeen, kun EMR-klusterit pyytävät pääsyä tähän Amazon S3 -sijaintiin, Lake Formation toimittaa tilapäiset valtuustiedot toimitetusta roolista päästäkseen käsiksi tietoihin. Olemme jo luoneet roolin LakeFormationCompanyDatabaseDataAccessRole
tätä tarkoitusta varten edellisessä vaiheessa. Rekisteröi Amazon S3 -sijainti datajärven sijainniksi suorittamalla seuraavat vaiheet:
- Avaa Lake Formation -konsoli Lake Formationin datajärven järjestelmänvalvojan kanssa tietojen tuottajatilillä (
123456789012
). - Valitse siirtymisruudussa Datajärvien sijainnit varten Ylläpito.
- Valita Rekisteröi sijainti.
- varten Amazon S3 -polku, tulla sisään
s3://<DataLakeS3BucketName>/company-database
. - varten IAM-rooli, tulla sisään
LakeFormationCompanyDatabaseDataAccessRole
. - varten Lupatilavalitse Järvien muodostuminen.
- Valita Rekisteröi sijainti.
Peruuta IAMAllowedPrincipalsille myönnetyt käyttöoikeudet
- IAMAllowedPrincipals
ryhmä sisältää kaikki IAM-käyttäjät ja roolit, joille IAM-käytäntösi sallivat pääsyn tietokatalogiresursseihin. Vastaanottaja toteuttaa Lake Formation -mallia, meidän täytyy peruuttaa lupa IAMAllowedPrincipalsilta käyttämällä seuraavia vaiheita:
- Avaa Lake Formation -konsoli Lake Formation -datajärven ylläpitäjän kanssa tietojen tuottajatilillä.
- Valitse siirtymisruudussa Datajärven käyttöoikeudet kohdassa Käyttöoikeudet.
- Suodata käyttöoikeudet
Database = company
jaPrinciple=IAMAllowedPrinciples
. - Valitse kaikki päämiehelle annetut käyttöoikeudet
IAMAllowedPrincipals
Ja valitse Peruuttaa.
Määritä sovellusten integrointiasetukset
Jos haluat pakottaa EMR-klusterin käyttöoikeudet, sinun on rekisteröitävä istuntotunnisteen arvo Lake Formationissa. Lake Formation käyttää tätä istuntotunnistetta soittajien valtuutukseen ja pääsyn tarjoamiseen datajärvelle. Rekisteröimme Amazon EMR
istuntotunnisteen arvona. Tähän arvoon viitataan kohdassa turvallisuusmääritykset kun luot EMR-klusterin.
Määritä istuntotunniste seuraavien vaiheiden avulla:
- Avaa Lake Formation -konsoli Lake Formation -datajärven ylläpitäjän kanssa tietojen tuottajatilillä.
- Valita Sovellusten integrointiasetukset varten Ylläpito navigointipaneelissa.
- valita Salli ulkoisten moottoreiden suodattaa tietoja Lake Formationin rekisteröidyissä Amazon S3 -sijainneissa.
- varten Istuntotunnisteen arvot, tulla sisään
Amazon EMR
. - varten AWS-tilitunnukset, syötä datakuluttajan AWS-tilin tunnus (
111122223333
). - Valita Säästä.
Jaa tietokanta ja taulukot datakuluttajatilille
Myönnämme nyt käyttöoikeudet datakuluttajan AWS-tilille, mukaan lukien myönnettävät käyttöoikeudet. Tämän ansiosta datan kuluttajatilin Lake Formation Data Lake -järjestelmänvalvoja voi hallita pääsyä tilin tietoihin.
Myönnä tietokannan käyttöoikeudet datakuluttajatilille
Suorita seuraavat vaiheet:
- Avaa Lake Formation -konsoli Lake Formation -datajärven ylläpitäjän kanssa tietojen tuottajatilillä.
- Valitse siirtymisruudussa Tietokannat.
- Valitse tietokanta
company
, ja Toiminnot valikon alla Oikeudet, valitse Grant. - In periaatteet , valitse Ulkoiset tilit ja syötä datakuluttajan AWS-tili (
111122223333
). - In LF-tunnisteet tai luetteloresurssit osiossa, valitse
company
varten Tietokannat. - In Tietokannan käyttöoikeudet , valitse Kuvata sekä Tietokannan käyttöoikeudet ja Myönnettävät käyttöoikeudet.
Näin datajärven ylläpitäjä datakuluttajatilillä voi kuvata tietokantaa ja myöntää kuvausoikeudet muille datan kuluttajatilin päämiehille.
- Valita Grant.
Myönnä taulukon käyttöoikeudet datan kuluttajatilille
Suorita seuraavat vaiheet:
- Avaa Lake Formation -konsoli Lake Formation -datajärven ylläpitäjän kanssa tietojen tuottajatilillä.
- Valitse siirtymisruudussa taulukot.
- Valitse
products
taulukko, joka kuuluucompany
tietokanta ja Toiminnot valikon alla Oikeudet, valitse Grant. - In periaatteet , valitse Ulkoiset tilit ja syötä datakuluttajan AWS-tili (
111122223333
). - In LF-tunnisteet tai luetteloresurssit , valitse Nimetyt tietoluetteloresurssit ja määritä seuraavat:
- varten Tietokannat, valitse
company
. - varten taulukot, valitse
products
jaemployees
.
- varten Tietokannat, valitse
- In Taulukon käyttöoikeudet osiossa, valitse valita ja Kuvata sekä Taulukon käyttöoikeudet ja Myönnettävät käyttöoikeudet.
Näin datajärven ylläpitäjä datakuluttajatilillä voi valita ja kuvata taulukot ja myöntää valinta- ja kuvausoikeudet muille datan kuluttajatilin päämiehille.
- In Tietojen käyttöoikeudet , valitse Kaikkien tietojen käyttöoikeus.
- Valita Grant.
Nyt olemme saaneet tiedon tuottajatilin määrityksen valmiiksi.
Määritä infrastruktuuri datakuluttajatilille
Luo infrastruktuuriresurssit suorittamalla seuraavat vaiheet:
- Kirjaudu sisään datakuluttajatilille (
111122223333
). - Valita Käynnistä pino ottaaksesi käyttöön CloudFormation-mallin tarvittavien resurssien luomiseksi.
- varten Julkaisutarra, syötä käytettävä Amazon EMR -julkaisutarra, joka voi olla vain emr-6.11 tai uudempi.
- varten Tapaustyyppi, valitse EMR-klusterin ilmentymätyyppi, kuten r4.4xlarge.
- varten EMRS3BucketNameSuffix, syötä S3-säilöliite tallentaaksesi EMR-klusterilokit ja EMR-muistikirjan tiedostot. Luotava S3-säihön koko nimi on
{AWSAccoundId}-{AWSRegion}-{EMRS3BucketNameSuffix}
. - varten S3PathToInTransitCertificate, kirjoita S3-polku .zip-tiedostolle, joka sisältää kuljetuksen aikana salaukseen käytetyt .pem-tiedostot.
Katso ohjeet .pem-tiedostot sisältävän .zip-tiedoston luomisesta ja niiden lataamisesta S3-säihösi Varmenteiden tarjoaminen siirrettävien tietojen salaamiseen Amazon EMR -salauksella.
- Kun CloudFormation-pino on luotu, siirry kohtaan Lähdöt pinon välilehti.
- Tallenna arvo
EMRStudioLink
kirjautuaksesi EMR Studioon.
Hyväksy resurssiosuus datakuluttajatilillä
Jotta voit käyttää jaettuja resursseja, sinun on ensin hyväksyttävä kutsu.
- Avaa datakuluttajatilin AWS RAM -konsoli IAM-identiteetillä, jolla on AWS RAM -käyttöoikeus.
- Valitse siirtymisruudussa Resurssien osuudet varten Jaettu kanssani.
Sinun pitäisi nähdä kaksi odottavaa resurssiosuutta tiedon tuottajatililtä.
- Hyväksy molemmat resurssiosuudet.
Sinun pitäisi nähdä company
tietokanta, employees
pöytä ja products
taulukko Data Catalogissa.
Määritä Lake Formation datakuluttajatilille
Tässä osiossa käymme läpi vaiheet Lake Formationin määrittämiseksi datakuluttajatilillä.
Määritä sovellusten integrointiasetukset
Samoin kuin tietojen tuottajatilin asetuksissa, sinun on rekisteröitävä Amazon EMR istuntotunnisteeksi. Tähän arvoon viitataan kohdassa turvallisuusmääritykset kun luot EMR-klusterin CloudFormation-pinossa.
Voit tehdä sen suorittamalla seuraavat vaiheet:
- Avaa Lake Formation -konsoli Lake Formation Data Lake -järjestelmänvalvojan kanssa datan kuluttajatilillä (
111122223333
). - Valita Sovellusten integrointiasetukset varten Ylläpito navigointipaneelissa.
- valita Salli ulkoisten moottoreiden suodattaa tietoja Lake Formationin rekisteröidyissä Amazon S3 -sijainneissa.
- varten Istuntotunnisteen arvot, tulla sisään
Amazon EMR
. - varten AWS-tilitunnukset, syötä datakuluttajan AWS-tilin tunnus (
111122223333
). - Valita Säästä.
Myönnä kuvausoikeudet oletustietokannan ajonaikaisiin rooleihin
Jos sinulla ei ole oletustietokantaa Lake Formationissa tai oletustietokannassasi on jo käyttöoikeudet IAMAllowedPrinciples
, voit ohittaa tämän vaiheen.
Amazon EMR tarkistaa oletustietokannan oletusarvoisesti. Jos sinulla on jo oletustietokanta Lake Formationissasi, anna kuvauslupa oletustietokannan ajonaikaisille rooleille suorittamalla seuraavat vaiheet:
- Avaa Lake Formation -konsoli Lake Formation -datajärven järjestelmänvalvojan käyttäjän kanssa datan kuluttajatilillä.
- Valitse siirtymisruudussa Tietokannat.
- Valitse oletustietokanta, varmista, että omistajatilin tunnus on datakuluttajatili (
111122223333
), ja Toiminnot valikosta, valitse Grant. - In Periaatteet-osiovalitse IAM-käyttäjät ja -roolit.
- varten IAM-käyttäjät ja -roolit, valitse
sales-runtime-role
jahuman-resource-runtime-role
. - varten LF-tunnisteet tai luetteloresurssitvalitse Nimetyt tietoluetteloresurssit ja valitse oletusarvo Tietokannat.
- In Tietokannan käyttöoikeudet osa, varten Tietokannan käyttöoikeudet, valitse Kuvata.
- Valita Grant.
Luo resurssilinkki jaettuun tietokantaan
Jotta voit käyttää tietokanta- ja taulukkoresursseja, jotka tiedon tuottaja AWS-tili jakoi, sinun on luotava a resurssin linkki datakuluttajan AWS-tilillä. Resurssilinkki on tietokatalogiobjekti, joka on linkki paikalliseen tai jaettuun tietokantaan tai taulukkoon. Kun olet luonut resurssilinkin tietokantaan tai taulukkoon, voit käyttää resurssin linkin nimeä missä tahansa tietokannan tai taulukon nimeä käyttäessäsi. Tässä vaiheessa myönnät resurssilinkeille luvan ajonaikaisten roolien periaatteisiin. Ajonaikaiset roolit pääsevät sitten käsiksi jaettujen tietokantojen ja taustalla olevien taulukoiden tietoihin resurssilinkin kautta.
Luo resurssilinkki suorittamalla seuraavat vaiheet:
- Avaa Lake Formation -konsoli Lake Formation Data Lake -järjestelmänvalvojan kanssa datan kuluttajatilillä.
- Valitse siirtymisruudussa Tietokannat.
- Valitse
company
tietokanta, varmista, että omistajatilin tunnus on tiedon tuottajatili (123456789012
), ja Toiminnot valikosta, valitse Luo resurssilinkkejä. - varten Resurssin linkin nimi, anna resurssin linkin nimi (esim.
company-shared
). - varten Jaetun tietokannan alue, valitse Alue
company
tietokanta. - varten Jaettu tietokanta, valitse yrityksen tietokanta.
- varten Jaetun tietokannan omistajan tunnus, syötä tietojen tuottajatilin tilitunnus (
123456789012
). - Valita luoda.
Myönnä käyttöoikeudet resurssilinkille ajonaikaisen roolin periaatteeseen
Myönnä käyttöoikeudet resurssilinkille sales-runtime-role- ja Human-resource-runtime-roleen seuraavien vaiheiden avulla:
- Avaa Lake Formation -konsoli Lake Formation Data Lake -järjestelmänvalvojan kanssa datan kuluttajatilillä.
- Valitse siirtymisruudussa Tietokannat.
- Valitse resurssilinkki (
company-shared
) ja Toiminnot valikosta, valitse Grant. - In periaatteet , valitse IAM-käyttäjät ja -roolit, ja valitse
sales-runtime-role
jahuman-resource-runtime-role
. - In LF-tunnisteet tai luetteloresurssit osa, varten Tietokannat, valitse
company-shared
. - In Resurssin linkin käyttöoikeudet , valitse Kuvata.
Tämän ansiosta ajonaikaiset roolit voivat kuvata resurssin linkkiä. Emme tee valintoja myönnettäville käyttöoikeuksille, koska suorituksenaikaisten roolien ei pitäisi pystyä myöntämään oikeuksia muille periaatteille.
- Valita Grant.
Myönnä taulukoille käyttöoikeus ajonaikaisen roolin periaatteelle
Sinun on myönnettävä taulukoille käyttöoikeudet sales-runtime-role
ja human-resource-runtime-role
salliaksesi pääsyn tietoihin:
Human-resource-runtime-role
pitäisi olla kuvaus- ja valintaoikeudet kaikissa sarakkeissaemployees
taulukkoon, eikä siihen ole käyttöoikeuksiaproducts
pöytä.Sales-runtime-role
pitäisi olla valitut oikeudet sarakkeisiinuid
,name
jadepartment
vuonnaemployees
taulukkoon ja kuvaile ja valitse käyttöoikeudet kaikissa sarakkeissaproducts
pöytä.
Myönnä työntekijöiden taulukolle käyttöoikeus henkilöstö-ajonaikaiseen rooliin
Suorita seuraavat vaiheet:
- Avaa Lake Formation -konsoli Lake Formation Data Lake -järjestelmänvalvojan kanssa datan kuluttajatilillä.
- Valitse siirtymisruudussa Tietokannat.
- Valitse resurssilinkki (
company-shared
) ja Toiminnot valikosta, valitse Grant on Target. - In Periaatteet-osiovalitse IAM-käyttäjät ja -roolit, valitse sitten
human-resource-runtime-role
. - In LF-tunnisteet tai luetteloresurssit , valitse Nimetyt tietoluetteloresurssit ja määritä seuraavat:
- varten Tietokannat, valitse
company
. - varten taulukot¸ valitse
employees
.
- varten Tietokannat, valitse
- In Taulukon käyttöoikeudet osa, varten Taulukon käyttöoikeudetvalitse Kuvata ja valita.
- In Tietojen käyttöoikeudet , valitse Kaikkien tietojen käyttöoikeus.
- Valita Grant.
Myönnä työntekijöiden taulukolle lupa myynti-ajo-rooliin
Suorita seuraavat vaiheet:
- Avaa Lake Formation -konsoli Lake Formation Data Lake -järjestelmänvalvojan kanssa datan kuluttajatilillä.
- Valitse siirtymisruudussa Tietokannat.
- Valitse resurssilinkki (
company-shared
) ja Toiminnot valikosta, valitse Grant on Target. - In Periaatteet-osiovalitse IAM-käyttäjät ja -roolit, valitse sitten
sales-runtime-role
. - In LF-tunnisteet tai luetteloresurssit , valitse Nimetyt tietoluetteloresurssit ja määritä seuraavat:
- varten Tietokannat, valitse
company
. - varten taulukot, valitse
employees
.
- varten Tietokannat, valitse
- In Taulukon käyttöoikeudet osa, varten Taulukon käyttöoikeudetvalitse valita.
- In Tietojen käyttöoikeudet , valitse Sarakepohjainen pääsy.
- valita Sisällytä sarakkeet Ja valitse
uid
,name
jadepartment
sarakkeita. - Valita Grant.
Myönnä tuotetaulukon käyttöoikeus sales-runtime-rooliin
Suorita seuraavat vaiheet:
- Avaa Lake Formation -konsoli Lake Formation Data Lake -järjestelmänvalvojan kanssa datan kuluttajatilillä.
- Valitse siirtymisruudussa Tietokannat.
- Valitse resurssilinkki (
company-shared
) ja Toiminnot valikosta, valitse Grant on Target. - In Periaatteet-osiovalitse IAM-käyttäjät ja -roolit, valitse sitten
sales-runtime-role
. - In LF-tunnisteet tai luetteloresurssit , valitse Nimetyt tietoluetteloresurssit ja määritä seuraavat:
- varten Tietokannat, valitse
company
. - varten taulukot, valitse
products
.
- varten Tietokannat, valitse
- In Taulukon käyttöoikeudet osa, varten Taulukon käyttöoikeudetvalitse valita ja Kuvata.
- In Tietojen käyttöoikeudet , valitse Kaikkien tietojen käyttöoikeus.
- Valita Grant.
Kirjaudu EMR Studioon ja käytä EMR Studio Workspacea
Vaihda rooliasi että alice-role
or bob-role
konsolissa eri selaimilla pääsyn testaamiseen. Avaa EMRStudioLink
URL-osoite CloudFormation-pinon lähdöstä kirjautuaksesi EMR Studioon jokaisen roolin kanssa, ja suorita sitten seuraavat vaiheet:
- Valita työtilat navigointiruudussa ja valitse Luo työtila.
- Kirjoita työtilan nimi ja kuvaus.
- Valita Luo työtila.
Uusi JupyterLabin sisältävä välilehti avautuu automaattisesti, kun työtila on valmis. Ota tarvittaessa ponnahdusikkunat käyttöön selaimessasi.
- Valitsi Laskea -kuvaketta navigointiruudussa liittääksesi EMR Studio -työtilan laskentakoneella.
- valita EMR-klusteri EC2:ssa varten Lasketyyppi.
- Valitse AWS CloudFormationilla luomasi EMR-klusterin tunnus.
- varten Suorituksen rooli, valitse
sales-runtime-role
jos olet kirjautunut sisään nimelläalice-role
. Valitahuman-resource-runtime-role
jos olet kirjautunut sisään nimelläbob-role
. - Valita Liittää.
Suorita koodi EMR Studio Workspacessa ja varmista tietojen käyttö
Suorita seuraava koodi EMR Studio -työtilassa PySpark-ytimen kanssa kirjautumisen jälkeen alice-rolella tai bob-rolella:
Sinun pitäisi nähdä erilaisia tuloksia, kun käytät erilaisia rooleja.
Lake Formationin tietojen käyttömäärityksemme mukaan Alicella on täysi pääsy tietoihin products
pöytä. Hän voi tarkastella kaikkia sarakkeita paitsi palkkaa employees
pöytä.
Bobilla on Lake Formationin tietojen käyttömäärityksemme mukaan täydet tiedot employees
pöytään, mutta hänellä ei ole pääsyä siihen products
pöytä.
Puhdistaa
Kun olet lopettanut tämän ratkaisun kokeilun, puhdista resurssit:
- Pysäytä ja poista datakuluttajan AWS-tilillä luodut EMR Studio -työtilat.
- Poista kaikki sisältö S3-ämpäristä
EMRS3Bucket
datakuluttajan AWS-tilillä. - Poista CloudFormation-pino datakuluttajan AWS-tilistä.
- Poista kaikki sisältö S3-ämpäristä
DataLakeS3Bucket
tietojen tuottajan AWS-tilillä. - Poista CloudFormation-pino tietojen tuottajan AWS-tililtä.
Yhteenveto
Tämä viesti osoitti, kuinka voit käyttää ajonaikaisia rooleja muodostaaksesi yhteyden EMR Studio Workspaceen Amazon EMR:n kanssa ja käyttääksesi tilien välistä hienorakeista tietojen käytön valvontaa Lake Formationin avulla. Osoitimme myös, kuinka useat EMR Studion käyttäjät voivat muodostaa yhteyden samaan EMR-klusteriin kukin käyttämällä ajonaikaista roolia, jonka käyttöoikeudet vastaavat heidän henkilökohtaista tiedonkäyttötasoaan.
Lisätietoja EMR Studio Workspaces -työtilojen käytöstä Lake Formationin kanssa on kohdassa Suorita EMR Studio Workspace ajonaikaisella roolilla. Kannustamme sinua kokeilemaan tätä uutta toimintoa ja ottamaan meihin yhteyttä, jos sinulla on kysyttävää tai palautetta!
Tietoja Tekijät
Ashley Zhou on AWS:n ohjelmistokehitysinsinööri. Hän on kiinnostunut data-analytiikasta ja hajautetuista järjestelmistä.
Srividya Parthasarathy on vanhempi Big Data -arkkitehti AWS Lake Formation -tiimissä. Hän nauttii analytiikan ja dataverkkoratkaisujen rakentamisesta AWS:lle ja niiden jakamisesta yhteisön kanssa.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/big-data/use-iam-runtime-roles-with-amazon-emr-studio-workspaces-and-aws-lake-formation-for-cross-account-fine-grained-access-control/
- :on
- :On
- :ei
- $ YLÖS
- 100
- 107
- 11
- 20
- 7
- 8
- a
- pystyy
- Meistä
- Hyväksyä
- pääsy
- Tietojen saatavuus
- Accessed
- saatavilla
- Mukaan
- Tili
- Tilit
- poikki
- Jälkeen
- alice
- Kaikki
- sallia
- sallittu
- mahdollistaa
- jo
- Myös
- Amazon
- Amazon EC2
- Amazonin EMR
- Amazon Web Services
- an
- analyysi
- Analytics
- ja
- Kaikki
- Apache
- Apache Spark
- Hakemus
- sovellukset
- käyttää
- arkkitehtuuri
- OVAT
- AS
- At
- liittää
- valtuuttaa
- automaattisesti
- AWS
- AWS-pilven muodostuminen
- AWS-liima
- AWS-järvien muodostuminen
- BE
- koska
- kuuluu
- välillä
- Iso
- Big Data
- bob
- sekä
- selain
- selaimet
- Rakentaminen
- mutta
- by
- CAN
- kaapata
- luettelo
- Kategoria
- CD
- todistukset
- muuttaa
- tarkastaa
- valinta
- Valita
- puhdas
- Cluster
- koodi
- Pylväät
- yhteisö
- yritys
- Yrityksen
- täydellinen
- Suoritettuaan
- Laskea
- Konfigurointi
- kytkeä
- Yhdistää
- Harkita
- muodostuu
- Console
- kuluttaja
- sisältää
- pitoisuus
- ohjaus
- luoda
- luotu
- Luominen
- Valtakirja
- Nykyinen
- tiedot
- tietojen käyttö
- tietojen analysointi
- Data Analytics
- Datajärvi
- tietojenkäsittely
- tietojen tutkija
- tietojen jakaminen
- tietokanta
- tietokannat
- oletusarvo
- määritellä
- osoittaa
- osoittivat
- osasto
- sijoittaa
- kuvata
- kuvaus
- kehittää
- Kehitys
- erot
- eri
- suoraan
- jaettu
- hajautetut järjestelmät
- do
- ei
- Dont
- alas
- kukin
- Työntekijä
- työntekijää
- mahdollistaa
- mahdollistaa
- kannustaa
- salaus
- valvoa
- Moottori
- insinööri
- Tekniikka
- Engineers
- Moottorit
- enter
- yrityksille
- ympäristö
- Eetteri (ETH)
- esimerkki
- Paitsi
- Selittää
- ulkoinen
- filee
- Asiakirjat
- suodattaa
- Etunimi
- jälkeen
- seuraa
- varten
- muodostus
- alkaen
- koko
- täysin
- toiminnallisuus
- tietty
- Go
- hallitsee
- myöntää
- myönnetty
- Ryhmä
- HAD
- onnellinen
- Olla
- he
- auttaa
- Miten
- Miten
- HTML
- http
- HTTPS
- ihmisen
- HENKILÖSTÖ
- Human Resources
- IAM
- ID
- Identiteetti
- if
- havainnollistaa
- täytäntöön
- in
- sisältää
- Mukaan lukien
- henkilökohtainen
- tiedot
- Infrastruktuuri
- esimerkki
- ohjeet
- integroitu
- integraatio
- kiinnostunut
- esitellä
- kutsu
- IT
- Työpaikat
- jpg
- Merkki
- järvi
- järvet
- suuri
- Suuret yritykset
- käynnistää
- OPPIA
- Taso
- RAJOITA
- LINK
- linkit
- paikallinen
- sijainti
- sijainnit
- kone
- tehdä
- TEE
- hoitaa
- onnistui
- johto
- hallinnoi
- monet
- matching
- mekanismi
- valikko
- verkko
- ehkä
- lisää
- liikkua
- moninkertainen
- täytyy
- nimi
- nimetty
- Navigoida
- suunnistus
- välttämätön
- Tarve
- tarvitaan
- Uusi
- seuraava
- Nro
- muistikirja
- kannettavat tietokoneet
- nyt
- objekti
- of
- usein
- on
- vain
- avata
- toiminta-
- or
- Muut
- meidän
- ulos
- ulostulo
- omistaja
- lasi
- polku
- odotettaessa
- lupa
- Oikeudet
- Platon
- Platonin tietotieto
- PlatonData
- politiikkaa
- Kirje
- teho
- edellytyksiä
- edellinen
- Pääasiallinen
- rehtorien
- periaate
- periaatteet
- tuottaja
- Tuotteet
- Tuotteemme
- Profiili
- Profiilit
- toimittaa
- mikäli
- tarjoaa
- tarkoitus
- Python
- kyselyt
- kysymykset
- R
- RAM
- raaka
- raakadata
- valmis
- vähentää
- katso
- alue
- ilmoittautua
- kirjattu
- rekisteröitymättä
- vapauta
- pyyntö
- resurssi
- Esittelymateriaalit
- johtua
- tulokset
- Rooli
- roolit
- ajaa
- juoksu
- palkka
- myynti
- sama
- Scala
- tiede
- Tiedemies
- tutkijat
- käsikirjoitus
- Osa
- osiot
- nähdä
- valittu
- vanhempi
- erillinen
- palvelin
- Palvelut
- Istunto
- setti
- asetus
- settings
- setup
- Jaa:
- yhteinen
- osakkeet
- jakaminen
- hän
- shouldnt
- osoittivat
- merkki
- allekirjoitettu
- allekirjoittaminen
- Yksinkertainen
- single
- Tuotteemme
- ohjelmistokehitys
- myyty
- ratkaisu
- Ratkaisumme
- Lähteet
- Kipinä
- pino
- Vaihe
- Askeleet
- Levytila
- verkkokaupasta
- tallennettu
- varastot
- suora
- studio
- toimitettu
- niin
- toimittaa
- Tukee
- järjestelmät
- taulukko
- TAG
- joukkue-
- sapluuna
- tilapäinen
- testi
- että
- -
- heidän
- Niitä
- sitten
- siksi
- tätä
- ne
- Kautta
- aikajana
- että
- työkalut
- kauttakulku
- yrittää
- kaksi
- tyyppi
- tyypillisesti
- ui
- varten
- taustalla oleva
- Ladataan
- URL
- us
- käyttää
- käytetty
- käyttäjä
- Käyttäjät
- käyttötarkoituksiin
- käyttämällä
- arvo
- todentaa
- versio
- kautta
- Näytä
- havainnollistaa
- kävellä
- we
- verkko
- Web-selaimet
- verkkopalvelut
- olivat
- kun
- joka
- koko
- tulee
- with
- sisällä
- työskentely
- olisi
- kirjoittaa
- kirjallinen
- yaml
- te
- Sinun
- zephyrnet
- Postinumero