Studio Amazon EMR adalah lingkungan pengembangan terintegrasi (IDE) yang memudahkan ilmuwan data dan insinyur data untuk mengembangkan, memvisualisasikan, dan men-debug aplikasi rekayasa data dan ilmu data yang ditulis dalam R, Python, Scala, dan PySpark. EMR Studio menyediakan notebook dan alat Jupyter yang dikelola sepenuhnya seperti Spark UI dan YARN Timeline Server melalui EMR Studio Workspaces. Anda dapat melampirkan Ruang Kerja EMR Studio ke klaster EMR, dan menggunakan kekuatan komputasi klaster EMR serta menjalankan tugas ilmu data di klaster tersebut. Data sering kali disimpan di data lake yang dikelola oleh Formasi Danau AWS, memungkinkan Anda menerapkan kontrol akses terperinci melalui mekanisme pemberian atau pencabutan sederhana.
Kami dengan senang hati memperkenalkannya peran waktu proses untuk Ruang Kerja EMR Studio. Anda sekarang dapat menentukan peran runtime dan menetapkannya ke klaster EMR saat melampirkan Ruang Kerja EMR Studio. Pekerjaan di klaster EMR akan menggunakan peran runtime ini untuk mengakses sumber daya AWS. Setelah mengonfigurasi peran runtime, Anda juga dapat menggunakan Lake Formation dan menerapkan kontrol akses data terperinci untuk pekerjaan yang dikirimkan oleh EMR Studio Workspace.
Sebelumnya, ketika melampirkan Ruang Kerja EMR Studio ke cluster EMR, semua Ruang Kerja harus menggunakan hal yang sama Identitas AWS dan Manajemen Akses (IAM) role—yaitu, peran cluster Cloud komputasi elastis Amazon Profil instans (Amazon EC2). Oleh karena itu, semua Ruang Kerja yang tergabung dalam klaster EMR yang sama memiliki akses data yang sama. Untuk mengontrol akses ke sumber data, setiap Ruang Kerja EMR Studio harus menggunakan klaster EMR yang berbeda, dan diperlukan beberapa profil instans EMR.
Dimulai dengan rilis Amazon EMR 6.11, kini Anda dapat memilih peran runtime saat melampirkan EMR Studio Workspace ke klaster EMR. Peran runtime ini membatasi akses di tingkat Ruang Kerja. Pekerjaan Apache Livy dan Apache Spark Anda yang dijalankan dari Ruang Kerja EMR Studio akan memiliki izin untuk mengakses hanya data dan sumber daya yang diizinkan oleh kebijakan yang dilampirkan pada peran runtime. Selain itu, ketika data diakses dari data lake yang dikelola dengan Lake Formation, Anda dapat menerapkan kontrol akses data yang terperinci menggunakan izin Lake Formation. Ini membantu Anda mengurangi overhead operasional.
Dalam postingan ini, kami mendemonstrasikan cara mengonfigurasi peran runtime untuk Ruang Kerja EMR Studio dan melampirkan Ruang Kerja ke klaster EMR dengan peran runtime. Karena perusahaan besar biasanya menggunakan beberapa akun AWS, dan banyak dari akun tersebut mungkin memerlukan akses ke data lake yang dikelola oleh satu akun AWS, contoh kami menggunakan dua akun AWS. Kami menjelaskan cara mengontrol akses ke peran runtime EMR Studio, mengelola akses data di seluruh akun di data lake melalui Lake Formation, dan menerapkan izin tingkat tabel dan kolom ke peran runtime EMR.
Ikhtisar solusi
Untuk mendemonstrasikan kontrol akses yang terperinci, kami membuat sampel Lem AWS database bernama perusahaan dan kelola izin database di Lake Formation. Basis data terdiri dari dua tabel terpisah:
- karyawan – Tabel ini menyimpan informasi tentang karyawan perusahaan, termasuk ID karyawan, nama, departemen, dan gaji
- produk – Tabel ini menyimpan informasi produk yang dijual perusahaan, meliputi ID produk, nama, kategori, dan harga
Untuk mendemonstrasikan kontrol akses data, kami mempertimbangkan pengguna data berikut:
- Alice, seorang ilmuwan data di tim penjualan – Dia harus memiliki akses hanya baca ke semua kolom di
products
tabel dan kolom yang dipilih, termasuk uID, nama, dan departemen diemployees
tabel - Bob, seorang ilmuwan data di tim sumber daya manusia – Dia harus memiliki akses hanya baca ke semua kolom di
employees
tabel dan seharusnya tidak memiliki akses keproducts
tabel
Untuk mendemonstrasikan pembagian data lintas akun, kami mempertimbangkan dua akun:
- Akun penghasil data – Kami menyebut akun ini sebagai
123456789012
di postingan ini. Akun ini mengelola data mentah di Layanan Penyimpanan Sederhana Amazon (Amazon S3) dan menulis data ke data lake. Itucompany
database dan tabel harus ada di akun ini. - Akun konsumen data – Kami menyebut akun ini sebagai
111122223333
di postingan ini. Akun ini diakses langsung oleh pengguna untuk analisis data dan tidak memiliki akses tulis ke data. Akun ini harus dapat diakses oleh Alice dan Bob.
Arsitektur diimplementasikan sebagai berikut:
- Akun produsen data mengelola data lake. Data mentah disimpan dalam bucket S3 dan dikatalogkan dalam Katalog Data AWS Glue.
- Lake Formation di akun produsen data mengatur akses data melalui Katalog Data, dan menyediakan berbagi data lintas akun dengan akun konsumen data.
- Lake Formation di akun konsumen data mengatur akses lintas akun ke data lake pada tingkat tabel dan izin Lake Formation yang terperinci. Untuk informasi lebih lanjut, lihat Metode untuk kontrol akses yang terperinci.
- Ruang Kerja EMR Studio di akun konsumen data menggunakan peran runtime saat menjalankan pekerjaan pada klaster EMR.
- Klaster EMR terhubung ke Katalog Data Glue di akun konsumen data dan mengkueri data dari data lake melalui berbagi data lintas akun.
Diagram berikut menggambarkan arsitektur ini.
Di bagian berikut, kita akan melalui langkah-langkah untuk berbagi data antar akun melalui Lake Formation, menjalankan EMR Studio Workspace dengan peran runtime, dan mendemonstrasikan kontrol akses yang terperinci.
Prasyarat
Anda harus memiliki prasyarat berikut:
Buat infrastruktur di akun produsen data
Selesaikan langkah-langkah berikut untuk membuat sumber daya infrastruktur:
- Masuk ke akun AWS penghasil data (
123456789012
). - Pilih Luncurkan Stack untuk menyebarkan templat CloudFormation guna membuat sumber daya yang diperlukan.
- Untuk DataLakeBucketSuffix, masukkan akhiran untuk bucket S3 yang digunakan oleh data lake. Seluruh nama bucket S3 yang akan dibuat adalah
{AwsAccoundId}-{AwsRegion}-{DataLakeBucketSuffix}
. - Setelah tumpukan CloudFormation dibuat, navigasikan ke Output tab tumpukan dan ambil nilainya
DataLakeS3Bucket
untuk digunakan pada langkah berikutnya.
Buat file data dan unggah ke Amazon S3 di akun produsen data
Konfigurasikan AWS CLI Anda untuk menggunakan identitas IAM dengan izin untuk mengunggah ke DataLakeS3BucketName di akun AWS penghasil data (123456789012
), atau Anda dapat masuk ke CloudShell menggunakan Konsol Manajemen AWS. Selesaikan langkah-langkah berikut:
- Di mesin lokal Anda, pindah ke direktori pilihan Anda dengan perintah cd, misalnya,
cd ~
. - Jalankan naskah dengan
chmod 744 create_sample_data.sh && ./create_sample_data.sh <DataLakeS3BucketName>
.
Script akan membuat subdirektori tmp
di direktori kerja Anda saat ini, buat data pengujian dalam file CSV, dan unggah file ke DataLakeS3BucketName
Ember S3.
Siapkan Lake Formation di akun produsen data
Di bagian ini, kita akan mempelajari langkah-langkah untuk menyiapkan Lake Formation di akun produsen data.
Siapkan pengaturan versi berbagi data lintas akun Lake Formation
Lake Formation mendukung beberapa versi berbagi data. Untuk postingan ini, kami menggunakan versi 3. Untuk mempelajari lebih lanjut tentang perbedaan antara versi berbagi data, lihat Memperbarui setelan versi berbagi data lintas akun. Untuk mengubah versi berbagi data, lihat Untuk mengaktifkan versi baru.
Daftarkan lokasi Amazon S3 sebagai lokasi data lake
Bila Anda mendaftarkan lokasi Amazon S3 dengan Lake Formation, Anda menentukan IAM role dengan izin baca/tulis di lokasi tersebut. Setelah mendaftar, ketika klaster EMR meminta akses ke lokasi Amazon S3 ini, Lake Formation akan memberikan kredensial sementara dari peran yang disediakan untuk mengakses data. Kami sudah membuat peran tersebut LakeFormationCompanyDatabaseDataAccessRole
untuk tujuan ini pada langkah sebelumnya. Untuk mendaftarkan lokasi Amazon S3 sebagai lokasi data lake, selesaikan langkah-langkah berikut:
- Buka konsol Lake Formation dengan administrator data lake Lake Formation di akun produsen data (
123456789012
). - Di panel navigasi, pilih Lokasi data lake bawah Administrasi.
- Pilih Daftarkan lokasi.
- Untuk Jalur Amazon S3, Masuk
s3://<DataLakeS3BucketName>/company-database
. - Untuk Peran IAM, Masuk
LakeFormationCompanyDatabaseDataAccessRole
. - Untuk Mode izin, pilih Formasi Danau.
- Pilih Daftarkan lokasi.
Cabut izin yang diberikan kepada IAMAallowedPrincipals
Grafik IAMAllowedPrincipals
grup mencakup pengguna dan peran IAM apa pun yang diizinkan mengakses sumber daya Katalog Data Anda berdasarkan kebijakan IAM Anda. Ke menerapkan model Danau Formasi, kita harus mencabut izin dari IAMAallowedPrincipals menggunakan langkah-langkah berikut:
- Buka konsol Lake Formation dengan administrator data lake Lake Formation di akun produsen data.
- Di panel navigasi, pilih Izin data lake di bagian Izin.
- Filter izin berdasarkan
Database = company
danPrinciple=IAMAllowedPrinciples
. - Pilih semua izin yang diberikan kepada kepala sekolah
IAMAllowedPrincipals
Dan pilihlah Mencabut.
Siapkan pengaturan integrasi aplikasi
Untuk menerapkan izin bagi klaster EMR, Anda perlu mendaftarkan nilai tag sesi dengan Lake Formation. Lake Formation menggunakan tag sesi ini untuk mengotorisasi pemanggil dan menyediakan akses ke data lake. Kami mendaftar Amazon EMR
sebagai nilai tag sesi. Nilai ini akan direferensikan dalam konfigurasi keamanan saat membuat klaster EMR.
Siapkan tag sesi menggunakan langkah-langkah berikut:
- Buka konsol Lake Formation dengan administrator data lake Lake Formation di akun produsen data.
- Pilih Pengaturan integrasi aplikasi bawah Administrasi di panel navigasi.
- Pilih Izinkan mesin eksternal memfilter data di lokasi Amazon S3 yang terdaftar di Lake Formation.
- Untuk Nilai tag sesi, Masuk
Amazon EMR
. - Untuk ID akun AWS, masukkan ID akun AWS konsumen data (
111122223333
). - Pilih Save.
Bagikan database dan tabel ke akun konsumen data
Kami sekarang memberikan izin kepada akun AWS konsumen data, termasuk izin yang dapat diberikan. Hal ini memungkinkan administrator danau data Lake Formation di akun konsumen data untuk mengontrol akses ke data di dalam akun.
Berikan izin database ke akun konsumen data
Selesaikan langkah-langkah berikut:
- Buka konsol Lake Formation dengan administrator data lake Lake Formation di akun produsen data.
- Di panel navigasi, pilih Database.
- Pilih databasenya
company
, dan di tindakan menu, di bawah izin, pilih Hibah. - Dalam majalah Prinsip bagian, pilih Akun eksternal dan masukkan data akun AWS konsumen (
111122223333
). - Dalam majalah LF-Tag atau sumber katalog bagian, pilih
company
untuk Database. - Dalam majalah Izin basis data bagian, pilih Menggambarkan untuk kedua Izin basis data dan Izin yang dapat diberikan.
Hal ini memungkinkan administrator data lake di akun konsumen data untuk mendeskripsikan database dan memberikan izin deskripsi kepada entitas utama lainnya di akun konsumen data.
- Pilih Hibah.
Berikan izin tabel ke akun konsumen data
Selesaikan langkah-langkah berikut:
- Buka konsol Lake Formation dengan administrator data lake Lake Formation di akun produsen data.
- Di panel navigasi, pilih Meja.
- Pilih
products
meja, yang merupakan milikcompany
basis data, dan di tindakan menu, di bawah izin, pilih Hibah. - Dalam majalah Prinsip bagian, pilih Akun eksternal dan masukkan data akun AWS konsumen (
111122223333
). - Dalam majalah LF-Tag atau sumber katalog bagian, pilih Sumber daya katalog data bernama dan tentukan hal berikut:
- Untuk Database, pilih
company
. - Untuk Meja, pilih
products
danemployees
.
- Untuk Database, pilih
- Dalam majalah Izin tabel bagian, pilih Pilih dan Menggambarkan untuk kedua Izin tabel dan Izin yang dapat diberikan.
Hal ini memungkinkan administrator data lake di akun konsumen data untuk memilih dan mendeskripsikan tabel, dan memberikan izin memilih dan mendeskripsikan tabel kepada entitas utama lain di akun konsumen data.
- Dalam majalah Izin data bagian, pilih Semua akses data.
- Pilih Hibah.
Sekarang kita telah selesai menyiapkan akun penghasil data.
Siapkan infrastruktur di akun konsumen data
Selesaikan langkah-langkah berikut untuk membuat sumber daya infrastruktur:
- Masuk ke akun konsumen data (
111122223333
). - Pilih Luncurkan tumpukan untuk menyebarkan templat CloudFormation guna membuat sumber daya yang diperlukan.
- Untuk Label Rilis, masukkan label rilis Amazon EMR yang akan digunakan, yang hanya dapat emr-6.11 atau lebih tinggi.
- Untuk Jenis Instance, pilih jenis instans untuk klaster EMR, seperti r4.4xlarge.
- Untuk EMRS3BucketNameSuffix, masukkan akhiran bucket S3 untuk menyimpan log klaster EMR dan file notebook EMR. Nama lengkap bucket S3 yang akan dibuat adalah
{AWSAccoundId}-{AWSRegion}-{EMRS3BucketNameSuffix}
. - Untuk Sertifikat S3PathToInTransit, masukkan jalur S3 untuk file .zip yang berisi file .pem yang digunakan untuk enkripsi dalam transit.
Untuk instruksi tentang membuat file .zip yang berisi file .pem dan mengunggahnya ke bucket S3 Anda, lihat Memberikan sertifikat untuk mengenkripsi data dalam transit dengan enkripsi Amazon EMR.
- Setelah tumpukan CloudFormation dibuat, navigasikan ke Output tab tumpukan.
- Tangkap nilai dari
EMRStudioLink
untuk digunakan untuk masuk ke EMR Studio.
Terima pembagian sumber daya di akun konsumen data
Untuk mengakses sumber daya bersama, Anda harus menerima undangan terlebih dahulu.
- Buka konsol AWS RAM akun konsumen data dengan identitas IAM yang memiliki akses AWS RAM.
- Di panel navigasi, pilih Berbagi sumber daya bawah Dibagikan dengan saya.
Anda akan melihat dua pembagian sumber daya yang tertunda dari akun produsen data.
- Terima kedua pembagian sumber daya.
Anda harus melihat company
basis data, employees
meja, dan products
tabel di Katalog Data.
Siapkan Lake Formation di akun konsumen data
Di bagian ini, kita akan menjalani langkah-langkah untuk menyiapkan Lake Formation di akun konsumen data.
Siapkan pengaturan integrasi aplikasi
Mirip dengan pengaturan di akun produsen data, Anda perlu mendaftarkan Amazon EMR sebagai tag sesi. Nilai ini direferensikan dalam konfigurasi keamanan saat membuat klaster EMR di tumpukan CloudFormation.
Untuk melakukannya, selesaikan langkah-langkah berikut:
- Buka konsol Lake Formation dengan administrator data lake Lake Formation di akun konsumen data (
111122223333
). - Pilih Pengaturan integrasi aplikasi bawah Administrasi di panel navigasi.
- Pilih Izinkan mesin eksternal memfilter data di lokasi Amazon S3 yang terdaftar di Lake Formation.
- Untuk Nilai tag sesi, Masuk
Amazon EMR
. - Untuk ID akun AWS, masukkan ID akun AWS konsumen data (
111122223333
). - Pilih Save.
Berikan izin penjelasan untuk peran runtime pada database default
Jika Anda tidak memiliki database default di Lake Formation, atau database default Anda sudah memiliki izin untuk diberikan IAMAllowedPrinciples
, Anda dapat melewati langkah ini.
Amazon EMR akan memeriksa database default secara default. Jika Anda sudah memiliki database default di Lake Formation Anda, berikan izin deskripsi ke peran runtime pada database default dengan menyelesaikan langkah-langkah berikut:
- Buka konsol Lake Formation dengan pengguna administrator data lake Lake Formation di akun konsumen data.
- Di panel navigasi, pilih Database.
- Pilih database default, verifikasi bahwa ID akun pemilik adalah akun konsumen data (
111122223333
), dan pada tindakan menu, pilih Hibah. - Dalam majalah Bagian Prinsip, pilih Pengguna dan peran IAM.
- Untuk Pengguna dan peran IAM, pilih
sales-runtime-role
danhuman-resource-runtime-role
. - Untuk LF-Tag atau sumber katalog, pilih Sumber daya katalog data bernama dan pilih default untuk Database.
- Dalam majalah Izin basis data bagian, untuk Izin basis data, pilih Menggambarkan.
- Pilih Hibah.
Buat tautan sumber daya untuk database bersama
Untuk mengakses sumber daya database dan tabel yang dibagikan oleh akun AWS penghasil data, Anda perlu membuat tautan sumber daya di akun AWS konsumen data. Tautan sumber daya adalah objek Katalog Data yang merupakan tautan ke database atau tabel lokal atau bersama. Setelah Anda membuat link sumber daya ke database atau tabel, Anda bisa menggunakan nama link sumber daya di mana pun Anda ingin menggunakan nama database atau tabel. Pada langkah ini, Anda memberikan izin pada tautan sumber daya ke prinsip peran runtime. Peran runtime kemudian akan mengakses data di database bersama dan tabel yang mendasarinya melalui tautan sumber daya.
Untuk membuat tautan sumber daya, selesaikan langkah-langkah berikut:
- Buka konsol Lake Formation dengan administrator data lake Lake Formation di akun konsumen data.
- Di panel navigasi, pilih Database.
- Pilih
company
database, verifikasi bahwa ID akun pemilik adalah akun penghasil data (123456789012
), dan pada tindakan menu, pilih Buat tautan Sumber Daya. - Untuk Nama tautan sumber daya, masukkan nama tautan sumber daya (misalnya,
company-shared
). - Untuk Wilayah basis data bersama, pilih Wilayah
company
database. - Untuk Basis data bersama, pilih database perusahaan.
- Untuk ID pemilik database bersama, masukkan ID akun dari akun penghasil data (
123456789012
). - Pilih membuat.
Berikan izin pada tautan sumber daya ke prinsip peran runtime
Berikan izin pada tautan sumber daya ke peran sales-runtime-role dan human-resource-runtime-role menggunakan langkah-langkah berikut:
- Buka konsol Lake Formation dengan administrator data lake Lake Formation di akun konsumen data.
- Di panel navigasi, pilih Database.
- Pilih tautan sumber daya (
company-shared
) dan pada tindakan menu, pilih Hibah. - Dalam majalah Prinsip bagian, pilih Pengguna dan peran IAM, dan pilih
sales-runtime-role
danhuman-resource-runtime-role
. - Dalam majalah LF-Tag atau sumber katalog bagian, untuk Database, pilih
company-shared
. - Dalam majalah Izin tautan sumber daya bagian, pilih Menggambarkan.
Hal ini memungkinkan peran runtime untuk mendeskripsikan tautan sumber daya. Kami tidak membuat pilihan apa pun untuk izin yang dapat diberikan karena peran runtime tidak boleh memberikan izin kepada prinsip lain.
- Pilih Hibah.
Berikan izin pada tabel ke prinsip peran runtime
Anda perlu memberikan izin pada tabel untuk sales-runtime-role
dan human-resource-runtime-role
untuk mengizinkan akses data:
Human-resource-runtime-role
seharusnya menjelaskan dan memilih izin pada semua kolom diemployees
tabel, dan tidak ada izin diproducts
tabel.Sales-runtime-role
harus memiliki izin pilih pada kolomuid
,name
, dandepartment
dalamemployees
tabel, dan jelaskan serta pilih izin pada semua kolom diproducts
tabel.
Berikan izin pada tabel karyawan ke peran sumber daya manusia-runtime
Selesaikan langkah-langkah berikut:
- Buka konsol Lake Formation dengan administrator data lake Lake Formation di akun konsumen data.
- Di panel navigasi, pilih Database.
- Pilih tautan sumber daya (
company-shared
) dan pada tindakan menu, pilih Hibah Sesuai Target. - Dalam majalah Bagian Prinsip, pilih Pengguna dan peran IAM, Lalu pilih
human-resource-runtime-role
. - Dalam majalah LF-Tag atau sumber katalog bagian, pilih Sumber daya katalog data bernama dan tentukan hal berikut:
- Untuk Database, pilih
company
. - Untuk Meja¸ pilih
employees
.
- Untuk Database, pilih
- Dalam majalah Izin tabel bagian, untuk Izin tabel, pilih Menggambarkan dan Pilih.
- Dalam majalah Izin data bagian, pilih Semua akses data.
- Pilih Hibah.
Berikan izin pada tabel karyawan ke peran sales-runtime
Selesaikan langkah-langkah berikut:
- Buka konsol Lake Formation dengan administrator data lake Lake Formation di akun konsumen data.
- Di panel navigasi, pilih Database.
- Pilih tautan sumber daya (
company-shared
) dan pada tindakan menu, pilih Hibah Sesuai Target. - Dalam majalah Bagian Prinsip, pilih Pengguna dan peran IAM, Lalu pilih
sales-runtime-role
. - Dalam majalah LF-Tag atau sumber katalog bagian, pilih Sumber daya katalog data bernama dan tentukan hal berikut:
- Untuk Database, pilih
company
. - Untuk Meja, pilih
employees
.
- Untuk Database, pilih
- Dalam majalah Izin tabel bagian, untuk Izin tabel, pilih Pilih.
- Dalam majalah Izin data bagian, pilih Akses berbasis kolom.
- Pilih Sertakan kolom Dan pilih
uid
,name
, dandepartment
kolom. - Pilih Hibah.
Berikan izin pada tabel produk ke peran sales-runtime
Selesaikan langkah-langkah berikut:
- Buka konsol Lake Formation dengan administrator data lake Lake Formation di akun konsumen data.
- Di panel navigasi, pilih Database.
- Pilih tautan sumber daya (
company-shared
) dan pada tindakan menu, pilih Hibah Sesuai Target. - Dalam majalah Bagian Prinsip, pilih Pengguna dan peran IAM, Lalu pilih
sales-runtime-role
. - Dalam majalah LF-Tag atau sumber katalog bagian, pilih Sumber daya katalog data bernama dan tentukan hal berikut:
- Untuk Database, pilih
company
. - Untuk Meja, pilih
products
.
- Untuk Database, pilih
- Dalam majalah Izin tabel bagian, untuk Izin tabel, pilih Pilih dan Menggambarkan.
- Dalam majalah Izin data bagian, pilih Semua akses data.
- Pilih Hibah.
Masuk ke EMR Studio dan gunakan EMR Studio Workspace
Ganti peran Anda untuk alice-role
or bob-role
di konsol menggunakan browser web yang berbeda untuk menguji akses. Buka EMRStudioLink
URL dari keluaran tumpukan CloudFormation untuk masuk ke EMR Studio dengan setiap peran, lalu selesaikan langkah-langkah berikut:
- Pilih ruang kerja di panel navigasi dan pilih Buat Ruang Kerja.
- Masukkan nama dan deskripsi untuk Ruang Kerja.
- Pilih Buat Ruang Kerja.
Tab baru berisi JupyterLab akan terbuka secara otomatis ketika Workspace sudah siap. Aktifkan pop-up di browser Anda jika perlu.
- Pilih menghitung ikon di panel navigasi untuk melampirkan Ruang Kerja EMR Studio dengan mesin komputasi.
- Pilih Klaster ESDM di EC2 untuk Jenis komputasi.
- Pilih ID klaster EMR yang Anda buat dengan AWS CloudFormation.
- Untuk Peran waktu proses, pilih
sales-runtime-role
jika masuk sebagaialice-role
. Memilihhuman-resource-runtime-role
jika masuk sebagaibob-role
. - Pilih Melampirkan.
Jalankan kode di EMR Studio Workspace dan verifikasi akses data
Jalankan kode berikut di EMR Studio Workspace dengan kernel PySpark setelah masuk dengan alice-role atau bob-role:
Anda akan melihat hasil yang berbeda ketika menggunakan peran yang berbeda.
Menurut konfigurasi akses data kami di Lake Formation, Alice akan memiliki akses data penuh untuk products
meja. Dia dapat melihat semua kolom kecuali gaji di employees
tabel.
Untuk Bob, menurut konfigurasi akses data kami di Lake Formation, dia akan memiliki akses data penuh ke employees
meja, tapi dia tidak punya akses ke products
tabel.
Membersihkan
Setelah selesai bereksperimen dengan solusi ini, bersihkan sumber daya Anda:
- Hentikan dan hapus Ruang Kerja EMR Studio yang dibuat di akun AWS konsumen data.
- Hapus semua konten di bucket S3
EMRS3Bucket
di akun AWS konsumen data. - Hapus tumpukan CloudFormation di akun AWS konsumen data.
- Hapus semua konten di bucket S3
DataLakeS3Bucket
di akun AWS penghasil data. - Hapus tumpukan CloudFormation di akun AWS penghasil data.
Kesimpulan
Posting ini menunjukkan bagaimana Anda dapat menggunakan peran runtime untuk terhubung ke Ruang Kerja EMR Studio dengan Amazon EMR untuk menerapkan kontrol akses data terperinci lintas akun dengan Lake Formation. Kami juga menunjukkan bagaimana beberapa pengguna EMR Studio dapat terhubung ke klaster EMR yang sama, masing-masing menggunakan peran runtime yang memiliki cakupan izin yang sesuai dengan tingkat akses masing-masing terhadap data.
Untuk mempelajari lebih lanjut tentang penggunaan Ruang Kerja EMR Studio dengan Lake Formation, lihat Jalankan Ruang Kerja EMR Studio dengan peran runtime. Kami mendorong Anda untuk mencoba fungsi baru ini, dan menghubungi kami jika Anda memiliki pertanyaan atau masukan!
Tentang Penulis
Ashley Zhou adalah Insinyur Pengembangan Perangkat Lunak di AWS. Dia tertarik pada analisis data dan sistem terdistribusi.
Srividya Parthasarathy adalah Senior Big Data Architect di tim AWS Lake Formation. Dia senang membangun analitik dan solusi jaring data di AWS dan membagikannya dengan komunitas.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/big-data/use-iam-runtime-roles-with-amazon-emr-studio-workspaces-and-aws-lake-formation-for-cross-account-fine-grained-access-control/
- :memiliki
- :adalah
- :bukan
- $NAIK
- 100
- 107
- 11
- 20
- 7
- 8
- a
- Sanggup
- Tentang Kami
- Setuju
- mengakses
- Akses ke data
- diakses
- dapat diakses
- Menurut
- Akun
- Akun
- di seluruh
- Setelah
- alice
- Semua
- mengizinkan
- diizinkan
- memungkinkan
- sudah
- juga
- Amazon
- Amazon EC2
- Amazon ESDM
- Amazon Web Services
- an
- analisis
- analisis
- dan
- Apa pun
- Apache
- Apache Spark
- Aplikasi
- aplikasi
- Mendaftar
- arsitektur
- ADALAH
- AS
- At
- melampirkan
- mengizinkan
- secara otomatis
- AWS
- Formasi AWS Cloud
- Lem AWS
- Formasi Danau AWS
- BE
- karena
- milik
- antara
- Besar
- Big data
- bob
- kedua
- Browser
- browser
- Bangunan
- tapi
- by
- CAN
- menangkap
- katalog
- Kategori
- CD
- sertifikat
- perubahan
- memeriksa
- pilihan
- Pilih
- membersihkan
- Kelompok
- kode
- Kolom
- masyarakat
- perusahaan
- Perusahaan
- lengkap
- menyelesaikan
- menghitung
- konfigurasi
- Terhubung
- menghubungkan
- Mempertimbangkan
- terdiri
- konsul
- konsumen
- mengandung
- Konten
- kontrol
- membuat
- dibuat
- membuat
- Surat kepercayaan
- terbaru
- data
- akses data
- analisis data
- Data Analytics
- Danau Data
- ilmu data
- ilmuwan data
- berbagi data
- Basis Data
- database
- Default
- menetapkan
- mendemonstrasikan
- menunjukkan
- Departemen
- menyebarkan
- menggambarkan
- deskripsi
- mengembangkan
- Pengembangan
- perbedaan
- berbeda
- langsung
- didistribusikan
- sistem terdistribusi
- do
- Tidak
- Dont
- turun
- setiap
- Karyawan
- karyawan
- aktif
- memungkinkan
- mendorong
- enkripsi
- melaksanakan
- Mesin
- insinyur
- Teknik
- Insinyur
- Mesin
- Enter
- perusahaan
- Lingkungan Hidup
- Eter (ETH)
- contoh
- Kecuali
- Menjelaskan
- luar
- File
- File
- menyaring
- Pertama
- berikut
- berikut
- Untuk
- pembentukan
- dari
- penuh
- sepenuhnya
- fungsi
- diberikan
- Go
- mengatur
- memberikan
- diberikan
- Kelompok
- memiliki
- senang
- Memiliki
- he
- membantu
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- HTML
- http
- HTTPS
- manusia
- SUMBER DAYA MANUSIA
- Sumber Daya Manusia
- IAM
- ID
- identitas
- if
- menggambarkan
- diimplementasikan
- in
- termasuk
- Termasuk
- sendiri-sendiri
- informasi
- Infrastruktur
- contoh
- instruksi
- terpadu
- integrasi
- tertarik
- memperkenalkan
- undangan
- IT
- Jobs
- jpg
- label
- danau
- danau
- besar
- Perusahaan besar
- jalankan
- BELAJAR
- Tingkat
- MEMBATASI
- LINK
- link
- lokal
- tempat
- lokasi
- mesin
- membuat
- MEMBUAT
- mengelola
- berhasil
- pengelolaan
- mengelola
- banyak
- sesuai
- mekanisme
- menu
- jala
- mungkin
- lebih
- pindah
- beberapa
- harus
- nama
- Bernama
- Arahkan
- Navigasi
- perlu
- Perlu
- dibutuhkan
- New
- berikutnya
- tidak
- buku catatan
- laptop
- sekarang
- obyek
- of
- sering
- on
- hanya
- Buka
- operasional
- or
- Lainnya
- kami
- di luar
- keluaran
- pemilik
- pane
- path
- tertunda
- izin
- Izin
- plato
- Kecerdasan Data Plato
- Data Plato
- Kebijakan
- Pos
- kekuasaan
- prasyarat
- sebelumnya
- Utama
- kepala sekolah
- prinsip
- prinsip-prinsip
- produsen
- Produk
- Produk
- Profil
- profil
- memberikan
- disediakan
- menyediakan
- tujuan
- Ular sanca
- query
- Pertanyaan
- R
- RAM
- Mentah
- data mentah
- siap
- menurunkan
- lihat
- wilayah
- daftar
- terdaftar
- mendaftar
- melepaskan
- permintaan
- sumber
- Sumber
- mengakibatkan
- Hasil
- Peran
- peran
- Run
- berjalan
- gaji
- penjualan
- sama
- Scala
- Ilmu
- ilmuwan
- ilmuwan
- naskah
- Bagian
- bagian
- melihat
- terpilih
- senior
- terpisah
- Server
- Layanan
- Sidang
- set
- pengaturan
- pengaturan
- penyiapan
- Share
- berbagi
- saham
- berbagi
- dia
- harus
- menunjukkan
- menandatangani
- tertanda
- penandatanganan
- Sederhana
- tunggal
- Perangkat lunak
- pengembangan perangkat lunak
- terjual
- larutan
- Solusi
- sumber
- percikan
- tumpukan
- Langkah
- Tangga
- penyimpanan
- menyimpan
- tersimpan
- toko
- mudah
- studio
- disampaikan
- seperti itu
- menyediakan
- Mendukung
- sistem
- tabel
- MENANDAI
- tim
- Template
- sementara
- uji
- bahwa
- Grafik
- mereka
- Mereka
- kemudian
- karena itu
- ini
- itu
- Melalui
- waktu
- untuk
- alat
- transit
- mencoba
- dua
- mengetik
- khas
- ui
- bawah
- pokok
- Mengunggah
- URL
- us
- menggunakan
- bekas
- Pengguna
- Pengguna
- kegunaan
- menggunakan
- nilai
- memeriksa
- versi
- melalui
- View
- membayangkan
- berjalan
- we
- jaringan
- Browser web
- layanan web
- adalah
- ketika
- yang
- seluruh
- akan
- dengan
- dalam
- kerja
- akan
- menulis
- tertulis
- yaml
- kamu
- Anda
- zephyrnet.dll
- Zip