Studio Amazon EMR to zintegrowane środowisko programistyczne (IDE), które ułatwia analitykom i inżynierom danych tworzenie, wizualizację i debugowanie aplikacji do inżynierii danych i nauki o danych napisanych w językach R, Python, Scala i PySpark. EMR Studio zapewnia w pełni zarządzane notatniki i narzędzia Jupyter, takie jak interfejs Spark UI i serwer osi czasu YARN za pośrednictwem obszarów roboczych EMR Studio. Możesz podłączyć obszar roboczy EMR Studio do klastra EMR i wykorzystać moc obliczeniową klastra EMR oraz uruchamiać w klastrze zadania związane z analizą danych. Dane są często przechowywane w jeziorach danych zarządzanych przez Formacja AWS Lake, umożliwiając zastosowanie szczegółowej kontroli dostępu poprzez prosty mechanizm przyznania lub unieważnienia.
Z przyjemnością przedstawiamy role wykonawcze dla obszarów roboczych EMR Studio. Możesz teraz zdefiniować rolę środowiska wykonawczego i przypisać ją do klastra EMR podczas dołączania obszaru roboczego EMR Studio. Zadania w klastrze EMR będą używać tej roli środowiska wykonawczego w celu uzyskania dostępu do zasobów AWS. Po skonfigurowaniu roli wykonawczej możesz także użyć Lake Formation i zastosować precyzyjną kontrolę dostępu do danych dla zadań przesłanych przez obszar roboczy EMR Studio.
Wcześniej podczas dołączania obszarów roboczych EMR Studio do klastrów EMR wszystkie obszary robocze musiały używać tego samego AWS Zarządzanie tożsamością i dostępem (IAM) – czyli rola klastra Elastyczna chmura obliczeniowa Amazon Profil instancji (Amazon EC2). Dlatego wszystkie obszary robocze dołączone do tego samego klastra EMR miały taki sam dostęp do danych. Aby kontrolować dostęp do źródeł danych, każdy obszar roboczy EMR Studio musiał korzystać z innego klastra EMR i potrzebnych było wiele profili instancji EMR.
Począwszy od wydania Amazon EMR 6.11, możesz teraz wybrać rolę środowiska wykonawczego podczas dołączania obszaru roboczego EMR Studio do klastra EMR. Ta rola środowiska wykonawczego ogranicza dostęp na poziomie obszaru roboczego. Twoje zadania Apache Livy i Apache Spark uruchamiane z obszarów roboczych EMR Studio będą miały uprawnienia dostępu tylko do danych i zasobów dozwolonych przez zasady powiązane z rolą środowiska wykonawczego. Ponadto w przypadku dostępu do danych z jezior danych zarządzanych za pomocą usługi Lake Formation można wymusić precyzyjną kontrolę dostępu do danych przy użyciu uprawnień Lake Formation. Pomaga to zmniejszyć koszty operacyjne.
W tym poście pokazujemy, jak skonfigurować role wykonawcze dla obszarów roboczych EMR Studio i dołączyć obszar roboczy do klastra EMR z rolami wykonawczymi. Ponieważ duże przedsiębiorstwa zazwyczaj korzystają z wielu kont AWS, a wiele z tych kont może potrzebować dostępu do jeziora danych zarządzanego przez jedno konto AWS, w naszym przykładzie wykorzystano dwa konta AWS. Wyjaśniamy, jak kontrolować dostęp do ról wykonawczych EMR Studio, zarządzać dostępem do danych między kontami w jeziorze danych za pośrednictwem Lake Formation oraz egzekwować uprawnienia na poziomie tabeli i kolumny dla ról wykonawczych EMR.
Omówienie rozwiązania
Aby zademonstrować precyzyjną kontrolę dostępu, tworzymy próbkę Klej AWS bazę danych o nazwie firma i zarządzaj uprawnieniami do bazy danych w Lake Formation. Baza danych składa się z dwóch oddzielnych tabel:
- pracowników – W tej tabeli przechowywane są informacje o pracownikach firmy, w tym identyfikator pracownika, imię i nazwisko, dział i wynagrodzenie
- CYFROWE DLA MILIONÓW – Ta tabela przechowuje informacje o produktach sprzedawanych przez firmę, w tym identyfikator produktu, nazwę, kategorię i cenę
Aby wykazać kontrolę dostępu do danych, bierzemy pod uwagę następujących użytkowników danych:
- Alice, analityk danych w zespole sprzedaży – Powinna mieć dostęp tylko do odczytu do wszystkich kolumn w pliku
products
tabelę i wybrane kolumny, w tym uID, nazwę i dział w plikuemployees
stół - Bob, analityk danych w zespole zasobów ludzkich – Powinien mieć dostęp tylko do odczytu do wszystkich kolumn w
employees
tabeli i nie powinien mieć dostępu doproducts
stół
Aby zademonstrować udostępnianie danych między kontami, rozważamy dwa konta:
- Konto producenta danych – Konto to nazywamy
123456789012
w tym poście. To konto zarządza surowymi danymi w Usługa Amazon Simple Storage (Amazon S3) i zapisuje dane do jeziora danych. Thecompany
baza danych i tabele powinny znajdować się na tym koncie. - Konto konsumenta danych – Konto to nazywamy
111122223333
w tym poście. Użytkownicy uzyskują bezpośredni dostęp do tego konta w celu analizy danych i nie mają dostępu do zapisu danych. To konto powinno być dostępne dla Alicji i Boba.
Architektura jest implementowana w następujący sposób:
- Konto producenta danych zarządza jeziorem danych. Surowe dane są przechowywane w zasobnikach S3 i katalogowane w katalogu danych kleju AWS.
- Formacja Lake na koncie producenta danych reguluje dostęp do danych za pośrednictwem katalogu danych i zapewnia udostępnianie danych między kontami kontu konsumenta danych.
- Lake Formation na koncie konsumenta danych reguluje dostęp dla wielu kont do jeziora danych na poziomie tabeli i szczegółowe uprawnienia Lake Formation. Aby uzyskać więcej informacji, zobacz Metody szczegółowej kontroli dostępu.
- Obszary robocze EMR Studio na koncie konsumenta danych korzystają z ról wykonawczych podczas uruchamiania zadań w klastrze EMR.
- Klaster EMR łączy się z Glue Data Catalog na koncie konsumenta danych i wysyła zapytania o dane z jeziora danych poprzez udostępnianie danych między kontami.
Poniższy diagram ilustruje tę architekturę.
W poniższych sekcjach omówimy kroki udostępniania danych między kontami za pośrednictwem Lake Formation, uruchamiania obszaru roboczego EMR Studio z rolami wykonawczymi i demonstrowania szczegółowej kontroli dostępu.
Wymagania wstępne
Powinieneś mieć następujące wymagania wstępne:
Utwórz infrastrukturę na koncie producenta danych
Wykonaj następujące kroki, aby utworzyć zasoby infrastruktury:
- Zaloguj się na konto AWS producenta danych (
123456789012
). - Dodaj Uruchom stos wdrożyć szablon CloudFormation w celu utworzenia niezbędnych zasobów.
- W razie zamówieenia projektu Przyrostek DataLakeBucketwprowadź przyrostek zasobnika S3 używanego przez usługę Data Lake. Zostanie utworzona cała nazwa segmentu S3
{AwsAccoundId}-{AwsRegion}-{DataLakeBucketSuffix}
. - Po utworzeniu stosu CloudFormation przejdź do pliku Wyjścia tab stosu i przechwyć wartość
DataLakeS3Bucket
użyć w następnym kroku.
Utwórz pliki danych i prześlij je do Amazon S3 na koncie producenta danych
Skonfiguruj interfejs wiersza polecenia AWS tak, aby korzystał z tożsamości IAM z pozwoleniem na przesyłanie do DataLakeS3BucketName na koncie AWS producenta danych (123456789012
) lub możesz zalogować się do CloudShell za pomocą Konsola zarządzania AWS. Wykonaj następujące kroki:
- Na komputerze lokalnym przejdź do wybranego katalogu za pomocą polecenia cd, na przykład:
cd ~
. - Uruchom scenariusz w
chmod 744 create_sample_data.sh && ./create_sample_data.sh <DataLakeS3BucketName>
.
Skrypt utworzy podkatalog tmp
w bieżącym katalogu roboczym utwórz dane testowe w plikach CSV i prześlij pliki do DataLakeS3BucketName
Łyżka S3.
Skonfiguruj Lake Formation na koncie producenta danych
W tej sekcji omówimy kroki konfigurowania Lake Formation na koncie producenta danych.
Skonfiguruj ustawienia wersji udostępniania danych dla wielu kont w Lake Formation
Lake Formation obsługuje wiele wersji udostępniania danych. W tym poście używamy wersji 3. Aby dowiedzieć się więcej o różnicach pomiędzy wersjami udostępniania danych, zob Aktualizowanie ustawień wersji udostępniania danych dla wielu kont. Aby zmienić wersję udostępniania danych, patrz Aby włączyć nową wersję.
Zarejestruj lokalizację Amazon S3 jako lokalizację jeziora danych
Kiedy zarejestruj lokalizację Amazon S3 w przypadku Lake Formation określasz rolę IAM z uprawnieniami do odczytu/zapisu w tej lokalizacji. Po rejestracji, gdy klastry EMR poproszą o dostęp do tej lokalizacji Amazon S3, Lake Formation dostarczy tymczasowe dane uwierzytelniające podanej roli, aby uzyskać dostęp do danych. Stworzyliśmy już tę rolę LakeFormationCompanyDatabaseDataAccessRole
w tym celu w poprzednim kroku. Aby zarejestrować lokalizację Amazon S3 jako lokalizację jeziora danych, wykonaj następujące kroki:
- Otwórz konsolę Lake Formation z administratorem jeziora danych Lake Formation na koncie producenta danych (
123456789012
). - W okienku nawigacji wybierz Lokalizacje jeziora danych dla Administracja.
- Dodaj Zarejestruj lokalizację.
- W razie zamówieenia projektu Ścieżka Amazon S3, wchodzić
s3://<DataLakeS3BucketName>/company-database
. - W razie zamówieenia projektu Rola IAM, wchodzić
LakeFormationCompanyDatabaseDataAccessRole
. - W razie zamówieenia projektu Tryb uprawnień, Wybierz Formacja jeziora.
- Dodaj Zarejestruj lokalizację.
Odwołaj uprawnienia przyznane IAMAllowedPrincipals
Połączenia IAMAllowedPrincipals
grupa obejmuje wszystkich użytkowników i role uprawnień, które mają dostęp do zasobów wykazu danych na mocy zasad uprawnień. Do egzekwować model formacji jeziora, musimy cofnij pozwolenie od IAMAllowedPrincipals korzystając z następujących kroków:
- Otwórz konsolę Lake Formation z administratorem jeziora danych Lake Formation na koncie producenta danych.
- W okienku nawigacji wybierz Uprawnienia Data Lake w obszarze Uprawnienia.
- Filtruj uprawnienia według
Database = company
iPrinciple=IAMAllowedPrinciples
. - Wybierz wszystkie uprawnienia nadane podmiotowi zabezpieczeń
IAMAllowedPrincipals
i wybierz Odwołać.
Skonfiguruj ustawienia integracji aplikacji
Aby wymusić uprawnienia dla klastra EMR, musisz zarejestrować wartość tagu sesji w Lake Formation. Lake Formation używa tego tagu sesji do autoryzacji osób wywołujących i zapewniania dostępu do jeziora danych. Rejestrujemy się Amazon EMR
jako wartość tagu sesji. Wartość ta będzie wymieniona w pliku konfiguracja bezpieczeństwa podczas tworzenia klastra EMR.
Skonfiguruj tag sesji, wykonując następujące czynności:
- Otwórz konsolę Lake Formation z administratorem jeziora danych Lake Formation na koncie producenta danych.
- Dodaj Ustawienia integracji aplikacji dla Administracja w okienku nawigacji.
- Wybierz Zezwalaj zewnętrznym silnikom na filtrowanie danych w lokalizacjach Amazon S3 zarejestrowanych w Lake Formation.
- W razie zamówieenia projektu Wartości znaczników sesji, wchodzić
Amazon EMR
. - W razie zamówieenia projektu Identyfikatory kont AWS, wprowadź identyfikator konta AWS odbiorcy danych (
111122223333
). - Dodaj Zapisz.
Udostępnij bazę danych i tabele kontu konsumenta danych
Teraz przyznajemy uprawnienia do konta AWS konsumenta danych, w tym uprawnienia, które można udzielić. Dzięki temu administrator jeziora danych Lake Formation na koncie konsumenta danych może kontrolować dostęp do danych na koncie.
Przyznaj uprawnienia do bazy danych kontu odbiorcy danych
Wykonaj następujące kroki:
- Otwórz konsolę Lake Formation z administratorem jeziora danych Lake Formation na koncie producenta danych.
- W okienku nawigacji wybierz Bazy danych.
- Wybierz bazę danych
company
i na Akcje menu, pod Uprawnieniawybierz Dotacja. - W Zasady sekcja, wybierz Konta zewnętrzne i wprowadź konto AWS konsumenta danych (
111122223333
). - W LF-Tags lub zasoby katalogowe Sekcja, wybierz
company
dla Bazy danych. - W Uprawnienia do bazy danych sekcja, wybierz Opisać zarówno Uprawnienia do bazy danych i Uprawnienia do przyznania.
Dzięki temu administrator jeziora danych na koncie konsumenta danych może opisywać bazę danych i przyznawać uprawnienia do opisywania innym podmiotom zabezpieczeń na koncie konsumenta danych.
- Dodaj Dotacja.
Przyznaj uprawnienia tabeli kontu konsumenta danych
Wykonaj następujące kroki:
- Otwórz konsolę Lake Formation z administratorem jeziora danych Lake Formation na koncie producenta danych.
- W okienku nawigacji wybierz Stoły.
- Wybierz
products
stół, który należy docompany
bazie danych oraz na Akcje menu, pod Uprawnieniawybierz Dotacja. - W Zasady sekcja, wybierz Konta zewnętrzne i wprowadź konto AWS konsumenta danych (
111122223333
). - W LF-Tags lub zasoby katalogowe sekcja, wybierz Nazwane zasoby katalogu danych i określ co następuje:
- W razie zamówieenia projektu Bazy danychwybierz
company
. - W razie zamówieenia projektu Stoływybierz
products
iemployees
.
- W razie zamówieenia projektu Bazy danychwybierz
- W Uprawnienia do tabeli Sekcja, wybierz Wybierz i Opisać zarówno Uprawnienia do tabeli i Uprawnienia do przyznania.
Dzięki temu administrator jeziora danych na koncie konsumenta danych może wybierać i opisywać tabele oraz udzielać uprawnień do wybierania i opisywania tabel innym podmiotom zabezpieczeń na koncie konsumenta danych.
- W Uprawnienia do danych sekcja, wybierz Dostęp do wszystkich danych.
- Dodaj Dotacja.
Zakończyliśmy konfigurowanie konta producenta danych.
Skonfiguruj infrastrukturę na koncie konsumenta danych
Wykonaj następujące kroki, aby utworzyć zasoby infrastruktury:
- Zaloguj się na konto konsumenta danych (
111122223333
). - Dodaj Uruchom stos wdrożyć szablon CloudFormation w celu utworzenia niezbędnych zasobów.
- W razie zamówieenia projektu Etykieta wydania, wprowadź etykietę wydania Amazon EMR, której chcesz użyć. Może to być wyłącznie wersja emr-6.11 lub nowsza.
- W razie zamówieenia projektu Typ wystąpienia, wybierz typ instancji dla klastra EMR, na przykład r4.4xlarge.
- W razie zamówieenia projektu EMRS3Sufiks nazwy zasobnikawprowadź sufiks zasobnika S3, aby przechowywać dzienniki klastra EMR i pliki notatników EMR. Zostanie utworzona pełna nazwa segmentu S3
{AWSAccoundId}-{AWSRegion}-{EMRS3BucketNameSuffix}
. - W razie zamówieenia projektu Certyfikat S3PathToInTransitwprowadź ścieżkę S3 dla pliku .zip zawierającego pliki .pem używane do szyfrowania przesyłu.
Aby uzyskać instrukcje dotyczące tworzenia pliku .zip zawierającego pliki .pem i przesyłania ich do segmentu S3, zobacz Dostarczanie certyfikatów do szyfrowania danych w transporcie za pomocą szyfrowania Amazon EMR.
- Po utworzeniu stosu CloudFormation przejdź do pliku Wyjścia zakładka stosu.
- Uchwyć wartość
EMRStudioLink
którego chcesz używać do logowania się w EMR Studio.
Zaakceptuj udział zasobów na koncie konsumenta danych
Aby uzyskać dostęp do udostępnionych zasobów, musisz najpierw zaakceptować zaproszenie.
- Otwórz konsolę AWS RAM konta konsumenta danych z tożsamością IAM, która ma dostęp do pamięci RAM AWS.
- W okienku nawigacji wybierz Udziały zasobów dla Podziel sie ze mna.
Powinieneś zobaczyć dwa oczekujące udziały w zasobach z konta producenta danych.
- Zaakceptuj oba udziały w zasobach.
Powinieneś zobaczyć company
Baza danych, employees
stół i products
tabela w katalogu danych.
Skonfiguruj Lake Formation na koncie konsumenta danych
W tej sekcji omówimy kroki konfigurowania Lake Formation na koncie konsumenta danych.
Skonfiguruj ustawienia integracji aplikacji
Podobnie jak w przypadku konta producenta danych, musisz zarejestrować Amazon EMR jako tag sesji. Wartość ta jest wymieniona w konfiguracja bezpieczeństwa podczas tworzenia klastra EMR na stosie CloudFormation.
Aby to zrobić, wykonaj następujące kroki:
- Otwórz konsolę Lake Formation z administratorem jeziora danych Lake Formation na koncie konsumenta danych (
111122223333
). - Dodaj Ustawienia integracji aplikacji dla Administracja w okienku nawigacji.
- Wybierz Zezwalaj zewnętrznym silnikom na filtrowanie danych w lokalizacjach Amazon S3 zarejestrowanych w Lake Formation.
- W razie zamówieenia projektu Wartości znaczników sesji, wchodzić
Amazon EMR
. - W razie zamówieenia projektu Identyfikatory kont AWS, wprowadź identyfikator konta AWS odbiorcy danych (
111122223333
). - Dodaj Zapisz.
Przyznaj uprawnienia do opisywania ról wykonawczych w domyślnej bazie danych
Jeśli nie masz domyślnej bazy danych w Lake Formation lub Twoja domyślna baza danych ma już uprawnienia do udzielenia IAMAllowedPrinciples
, możesz pominąć ten krok.
Amazon EMR domyślnie sprawdzi domyślną bazę danych. Jeśli masz już domyślną bazę danych w formacji Lake, przyznaj uprawnienia do opisywania rolom wykonawczym w domyślnej bazie danych, wykonując następujące kroki:
- Otwórz konsolę Lake Formation z administratorem jeziora danych Lake Formation na koncie konsumenta danych.
- W okienku nawigacji wybierz Bazy danych.
- Wybierz domyślną bazę danych i sprawdź, czy identyfikator konta właściciela jest kontem konsumenta danych (
111122223333
) i na Akcje menu, wybierz Dotacja. - W Sekcja zasad, Wybierz Użytkownicy i role uprawnień.
- W razie zamówieenia projektu Użytkownicy i role uprawnieńwybierz
sales-runtime-role
ihuman-resource-runtime-role
. - W razie zamówieenia projektu LF-Tags lub zasoby katalogowe, Wybierz Nazwane zasoby katalogu danych i wybierz opcję domyślną dla Bazy danych.
- W Uprawnienia do bazy danych sekcja dla Uprawnienia do bazy danychwybierz Opisać.
- Dodaj Dotacja.
Utwórz łącze do zasobu dla udostępnionej bazy danych
Aby uzyskać dostęp do zasobów bazy danych i tabel udostępnionych przez konto AWS producenta danych, musisz utworzyć plik łącze do zasobów na koncie AWS konsumenta danych. Łącze do zasobu to obiekt wykazu danych będący łączem do lokalnej lub udostępnionej bazy danych lub tabeli. Po utworzeniu łącza zasobu do bazy danych lub tabeli możesz użyć nazwy łącza zasobu wszędzie tam, gdzie chcesz użyć nazwy bazy danych lub tabeli. W tym kroku udzielasz uprawnień do łączy zasobów z zasadami roli środowiska wykonawczego. Role środowiska wykonawczego będą następnie uzyskiwać dostęp do danych we współużytkowanych bazach danych i tabelach bazowych za pośrednictwem łącza do zasobów.
Aby utworzyć łącze do zasobu, wykonaj następujące czynności:
- Otwórz konsolę Lake Formation z administratorem jeziora danych Lake Formation na koncie konsumenta danych.
- W okienku nawigacji wybierz Bazy danych.
- Wybierz
company
bazy danych, sprawdź, czy identyfikator konta właściciela jest kontem producenta danych (123456789012
) i na Akcje menu, wybierz Utwórz linki do zasobów. - W razie zamówieenia projektu Nazwa łącza do zasobu, wprowadź nazwę łącza do zasobu (na przykład
company-shared
). - W razie zamówieenia projektu Region udostępnionej bazy danych, wybierz region
company
Baza danych. - W razie zamówieenia projektu Udostępniona baza danych, wybierz bazę danych firmy.
- W razie zamówieenia projektu Identyfikator właściciela udostępnionej bazy danych, wprowadź identyfikator konta producenta danych (
123456789012
). - Dodaj Stwórz.
Przyznaj uprawnienia do łącza zasobu do zasady roli środowiska wykonawczego
Przyznaj uprawnienia do łącza zasobu do roli środowiska wykonawczego sprzedaży i roli środowiska wykonawczego zasobów ludzkich, wykonując następujące kroki:
- Otwórz konsolę Lake Formation z administratorem jeziora danych Lake Formation na koncie konsumenta danych.
- W okienku nawigacji wybierz Bazy danych.
- Wybierz łącze do zasobu (
company-shared
) i na Akcje menu, wybierz Dotacja. - W Zasady sekcja, wybierz Użytkownicy i role uprawnieńi wybierz
sales-runtime-role
ihuman-resource-runtime-role
. - W LF-Tags lub zasoby katalogowe sekcja dla Bazy danychwybierz
company-shared
. - W Uprawnienia łącza do zasobów sekcja, wybierz Opisać.
Dzięki temu role środowiska wykonawczego mogą opisywać łącze do zasobu. Nie dokonujemy żadnych wyborów dotyczących uprawnień, które można udzielić, ponieważ role środowiska uruchomieniowego nie powinny mieć możliwości udzielania uprawnień do innych zasad.
- Dodaj Dotacja.
Przyznaj uprawnienia do tabel zasadzie roli środowiska wykonawczego
Musisz przyznać uprawnienia do tabel sales-runtime-role
i human-resource-runtime-role
aby umożliwić dostęp do danych:
Human-resource-runtime-role
powinien mieć uprawnienia do opisywania i wybierania wszystkich kolumn w plikuemployees
table i brak uprawnień doproducts
tabela.Sales-runtime-role
powinien mieć uprawnienia do wybierania kolumnuid
,name
,department
employees
tabeli oraz opisz i wybierz uprawnienia do wszystkich kolumn w plikuproducts
tabela.
Przyznaj uprawnienia w tabeli pracowników roli Human-Resource-Runtime-Role
Wykonaj następujące kroki:
- Otwórz konsolę Lake Formation z administratorem jeziora danych Lake Formation na koncie konsumenta danych.
- W okienku nawigacji wybierz Bazy danych.
- Wybierz łącze do zasobu (
company-shared
) i na Akcje menu, wybierz Dotacja na cel. - W Sekcja zasad, Wybierz Użytkownicy i role uprawnień, A następnie wybierz
human-resource-runtime-role
. - W LF-Tags lub zasoby katalogowe sekcja, wybierz Nazwane zasoby katalogu danych i określ co następuje:
- W razie zamówieenia projektu Bazy danychwybierz
company
. - W razie zamówieenia projektu Stoły¸ wybierz
employees
.
- W razie zamówieenia projektu Bazy danychwybierz
- W Uprawnienia do tabeli sekcja dla Uprawnienia do tabeli, Wybierz Opisać i Wybierz.
- W Uprawnienia do danych sekcja, wybierz Dostęp do wszystkich danych.
- Dodaj Dotacja.
Przyznaj uprawnienia w tabeli pracowników roli środowiska uruchomieniowego sprzedaży
Wykonaj następujące kroki:
- Otwórz konsolę Lake Formation z administratorem jeziora danych Lake Formation na koncie konsumenta danych.
- W okienku nawigacji wybierz Bazy danych.
- Wybierz łącze do zasobu (
company-shared
) i na Akcje menu, wybierz Dotacja na cel. - W Sekcja zasad, Wybierz Użytkownicy i role uprawnień, A następnie wybierz
sales-runtime-role
. - W LF-Tags lub zasoby katalogowe sekcja, wybierz Nazwane zasoby katalogu danych i określ co następuje:
- W razie zamówieenia projektu Bazy danychwybierz
company
. - W razie zamówieenia projektu Stoływybierz
employees
.
- W razie zamówieenia projektu Bazy danychwybierz
- W Uprawnienia do tabeli sekcja dla Uprawnienia do tabeli, Wybierz Wybierz.
- W Uprawnienia do danych sekcja, wybierz Dostęp oparty na kolumnie.
- Wybierz Uwzględnij kolumny i wybierz
uid
,name
,department
kolumny. - Dodaj Dotacja.
Przyznaj uprawnienia w tabeli produktów roli środowiska wykonawczego sprzedaży
Wykonaj następujące kroki:
- Otwórz konsolę Lake Formation z administratorem jeziora danych Lake Formation na koncie konsumenta danych.
- W okienku nawigacji wybierz Bazy danych.
- Wybierz łącze do zasobu (
company-shared
) i na Akcje menu, wybierz Dotacja na cel. - W Sekcja zasad, Wybierz Użytkownicy i role uprawnień, A następnie wybierz
sales-runtime-role
. - W LF-Tags lub zasoby katalogowe sekcja, wybierz Nazwane zasoby katalogu danych i określ co następuje:
- W razie zamówieenia projektu Bazy danychwybierz
company
. - W razie zamówieenia projektu Stoływybierz
products
.
- W razie zamówieenia projektu Bazy danychwybierz
- W Uprawnienia do tabeli sekcja dla Uprawnienia do tabeli, Wybierz Wybierz i Opisać.
- W Uprawnienia do danych sekcja, wybierz Dostęp do wszystkich danych.
- Dodaj Dotacja.
Zaloguj się do EMR Studio i korzystaj z obszaru roboczego EMR Studio
Zmień swoją rolę do alice-role
or bob-role
na konsoli, korzystając z różnych przeglądarek internetowych, aby przetestować dostęp. Otworzyć EMRStudioLink
Adres URL z danych wyjściowych stosu CloudFormation, aby zalogować się do EMR Studio przy użyciu każdej roli, a następnie wykonaj następujące kroki:
- Dodaj Przestrzenie robocze w okienku nawigacji i wybierz Utwórz obszar roboczy.
- Wprowadź nazwę i opis obszaru roboczego.
- Dodaj Utwórz obszar roboczy.
Nowa zakładka zawierająca JupyterLab otworzy się automatycznie, gdy obszar roboczy będzie gotowy. Jeśli to konieczne, włącz wyskakujące okienka w przeglądarce.
- Wybierz obliczać ikonę w panelu nawigacji, aby dołączyć obszar roboczy EMR Studio do silnika obliczeniowego.
- Wybierz Klaster EMR na EC2 dla Typ obliczeniowy.
- Wybierz identyfikator klastra EMR utworzony za pomocą AWS CloudFormation.
- W razie zamówieenia projektu Rola środowiska wykonawczegowybierz
sales-runtime-role
jeśli jesteś zalogowany jakoalice-role
, Wybieraćhuman-resource-runtime-role
jeśli jesteś zalogowany jakobob-role
. - Dodaj Dołączać.
Uruchom kod w obszarze roboczym EMR Studio i zweryfikuj dostęp do danych
Uruchom następujący kod w obszarze roboczym EMR Studio z jądrem PySpark po zalogowaniu się przy użyciu roli alice lub boba:
Używając różnych ról, powinieneś zobaczyć różne wyniki.
Zgodnie z naszą konfiguracją dostępu do danych w Lake Formation, Alicja będzie miała pełny dostęp do danych dla products
tabela. Może przeglądać wszystkie kolumny z wyjątkiem wynagrodzeń w employees
tabela.
W przypadku Boba, zgodnie z naszą konfiguracją dostępu do danych w Lake Formation, będzie on miał pełny dostęp do danych employees
tabeli, ale nie ma do niej dostępu products
tabela.
Sprzątać
Gdy skończysz eksperymentować z tym rozwiązaniem, wyczyść swoje zasoby:
- Zatrzymaj i usuń obszary robocze EMR Studio utworzone na koncie AWS konsumenta danych.
- Usuń całą zawartość wiadra S3
EMRS3Bucket
na koncie AWS konsumenta danych. - Usuń stos CloudFormation na koncie AWS konsumenta danych.
- Usuń całą zawartość wiadra S3
DataLakeS3Bucket
na koncie AWS producenta danych. - Usuń stos CloudFormation na koncie AWS producenta danych.
Wnioski
W tym poście pokazano, jak można używać ról wykonawczych do łączenia się z obszarem roboczym EMR Studio za pomocą Amazon EMR w celu zastosowania szczegółowej kontroli dostępu do danych dla wielu kont za pomocą Lake Formation. Pokazaliśmy także, jak wielu użytkowników EMR Studio może połączyć się z tym samym klastrem EMR, przy czym każdy z nich korzysta z roli środowiska wykonawczego o zakresie uprawnień odpowiadającym ich indywidualnemu poziomowi dostępu do danych.
Aby dowiedzieć się więcej na temat korzystania z obszarów roboczych EMR Studio w aplikacji Lake Formation, zobacz Uruchom obszar roboczy EMR Studio z rolą środowiska wykonawczego. Zachęcamy do wypróbowania tej nowej funkcjonalności i skontaktowania się z nami, jeśli masz jakieś pytania lub uwagi!
O autorach
Ashley Zhou jest inżynierem ds. rozwoju oprogramowania w AWS. Interesuje się analityką danych i systemami rozproszonymi.
Śrividya Parthasarathy jest starszym architektem Big Data w zespole AWS Lake Formation. Lubi budować rozwiązania analityczne i siatki danych na AWS i dzielić się nimi ze społecznością.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/big-data/use-iam-runtime-roles-with-amazon-emr-studio-workspaces-and-aws-lake-formation-for-cross-account-fine-grained-access-control/
- :ma
- :Jest
- :nie
- $W GÓRĘ
- 100
- 107
- 11
- 20
- 7
- 8
- a
- Zdolny
- O nas
- Akceptuj
- dostęp
- Dostęp do danych
- dostęp
- dostępny
- Stosownie
- Konto
- Konta
- w poprzek
- Po
- alicja
- Wszystkie kategorie
- dopuszczać
- dozwolony
- pozwala
- już
- również
- Amazonka
- Amazon EC2
- Amazon EMR
- Amazon Web Services
- an
- analiza
- analityka
- i
- każdy
- Apache
- Apache Spark
- Zastosowanie
- aplikacje
- Aplikuj
- architektura
- SĄ
- AS
- At
- dołączać
- autoryzować
- automatycznie
- AWS
- Tworzenie chmury AWS
- Klej AWS
- Formacja AWS Lake
- BE
- bo
- należy
- pomiędzy
- Duży
- Big Data
- bob
- obie
- przeglądarka
- przeglądarki
- Budowanie
- ale
- by
- CAN
- zdobyć
- katalog
- Kategoria
- CD
- certyfikaty
- zmiana
- ZOBACZ
- wybór
- Dodaj
- kleń
- Grupa
- kod
- kolumny
- społeczność
- sukcesy firma
- Firma
- kompletny
- wypełniając
- obliczać
- systemu
- Skontaktuj się
- łączy
- Rozważać
- składa się
- Konsola
- konsument
- zawiera
- zawartość
- kontrola
- Stwórz
- stworzony
- Tworzenie
- Listy uwierzytelniające
- Aktualny
- dane
- dostęp do danych
- analiza danych
- Analityka danych
- Jezioro danych
- nauka danych
- naukowiec danych
- udostępnianie danych
- Baza danych
- Bazy danych
- Domyślnie
- określić
- wykazać
- wykazać
- Departament
- rozwijać
- opisać
- opis
- rozwijać
- oprogramowania
- Różnice
- różne
- bezpośrednio
- dystrybuowane
- systemy rozproszone
- do
- Nie
- nie
- na dół
- każdy
- Pracownik
- pracowników
- umożliwiać
- umożliwiając
- zachęcać
- szyfrowanie
- egzekwować
- silnik
- inżynier
- Inżynieria
- Inżynierowie
- silniki
- Wchodzę
- przedsiębiorstwa
- Środowisko
- Eter (ETH)
- przykład
- Z wyjątkiem
- Wyjaśniać
- zewnętrzny
- filet
- Akta
- filtrować
- i terminów, a
- następujący
- następujący sposób
- W razie zamówieenia projektu
- formacja
- od
- pełny
- w pełni
- Funkcjonalność
- dany
- Go
- rządzi
- przyznać
- udzielony
- Zarządzanie
- miał
- Zaoszczędzić
- Have
- he
- pomaga
- W jaki sposób
- How To
- HTML
- http
- HTTPS
- człowiek
- ZASOBY LUDZKIE
- Human Resources
- IAM
- ID
- tożsamość
- if
- ilustruje
- realizowane
- in
- obejmuje
- Włącznie z
- indywidualny
- Informacja
- Infrastruktura
- przykład
- instrukcje
- zintegrowany
- integracja
- zainteresowany
- przedstawiać
- zaproszenie
- IT
- Oferty pracy
- jpg
- Etykieta
- jezioro
- jezior
- duży
- Duże przedsiębiorstwa
- uruchomić
- UCZYĆ SIĘ
- poziom
- LIMIT
- LINK
- linki
- miejscowy
- lokalizacja
- lokalizacji
- maszyna
- robić
- WYKONUJE
- zarządzanie
- zarządzane
- i konserwacjami
- zarządza
- wiele
- dopasowywanie
- mechanizm
- Menu
- siatka
- może
- jeszcze
- ruch
- wielokrotność
- musi
- Nazwa
- O imieniu
- Nawigacja
- Nawigacja
- niezbędny
- Potrzebować
- potrzebne
- Nowości
- Następny
- Nie
- notatnik
- laptopy
- już dziś
- przedmiot
- of
- często
- on
- tylko
- koncepcja
- operacyjny
- or
- Inne
- ludzkiej,
- na zewnątrz
- wydajność
- właściciel
- chleb
- ścieżka
- w oczekiwaniu
- pozwolenie
- uprawnienia
- plato
- Analiza danych Platona
- PlatoDane
- polityka
- Post
- power
- warunki wstępne
- poprzedni
- Główny
- zleceniodawcy
- zasada
- Zasady
- producent
- Produkt
- Produkty
- Profil
- profile
- zapewniać
- pod warunkiem,
- zapewnia
- cel
- Python
- zapytania
- pytania
- R
- RAM
- Surowy
- surowe dane
- gotowy
- zmniejszyć
- odnosić się
- region
- zarejestrować
- zarejestrowany
- rejestracji
- zwolnić
- zażądać
- Zasób
- Zasoby
- dalsze
- Efekt
- Rola
- role
- run
- bieganie
- wynagrodzenie
- sole
- taki sam
- Scala
- nauka
- Naukowiec
- Naukowcy
- scenariusz
- Sekcja
- działy
- widzieć
- wybrany
- senior
- oddzielny
- serwer
- Usługi
- Sesja
- zestaw
- ustawienie
- w panelu ustawień
- ustawienie
- Share
- shared
- Akcje
- dzielenie
- ona
- powinien
- pokazał
- znak
- podpisana
- podpisywanie
- Prosty
- pojedynczy
- Tworzenie
- rozwoju oprogramowania
- sprzedany
- rozwiązanie
- Rozwiązania
- Źródła
- Iskra
- stos
- Ewolucja krok po kroku
- Cel
- przechowywanie
- sklep
- przechowywany
- sklep
- bezpośredni
- studio
- składane
- taki
- Dostawa
- podpory
- systemy
- stół
- TAG
- zespół
- szablon
- tymczasowy
- test
- że
- Połączenia
- ich
- Im
- następnie
- w związku z tym
- to
- tych
- Przez
- Oś czasu
- do
- narzędzia
- tranzyt
- próbować
- drugiej
- rodzaj
- zazwyczaj
- ui
- dla
- zasadniczy
- Uploading
- URL
- us
- posługiwać się
- używany
- Użytkownik
- Użytkownicy
- zastosowania
- za pomocą
- wartość
- zweryfikować
- wersja
- przez
- Zobacz i wysłuchaj
- wyobrażać sobie
- spacer
- we
- sieć
- Przeglądarki internetowe
- usługi internetowe
- były
- jeśli chodzi o komunikację i motywację
- który
- cały
- będzie
- w
- w ciągu
- pracujący
- by
- napisać
- napisany
- jamla
- ty
- Twój
- zefirnet
- Zamek błyskawiczny