Студия Amazon EMR — это интегрированная среда разработки (IDE), которая позволяет ученым и инженерам данных легко разрабатывать, визуализировать и отлаживать приложения для обработки данных и обработки данных, написанные на R, Python, Scala и PySpark. EMR Studio предоставляет полностью управляемые блокноты Jupyter и такие инструменты, как пользовательский интерфейс Spark и сервер временной шкалы YARN, через рабочие пространства EMR Studio. Вы можете подключить рабочую область EMR Studio к кластеру EMR и использовать вычислительную мощность кластера EMR и выполнять задания по обработке данных в кластере. Данные часто хранятся в озерах данных, управляемых Формирование озера AWS, что позволяет вам применять детальный контроль доступа с помощью простого механизма предоставления или отзыва.
Мы рады представить роли времени выполнения для рабочих пространств EMR Studio. Теперь вы можете определить роль среды выполнения и назначить ее кластеру EMR при подключении рабочей области EMR Studio. Задания в кластере EMR будут использовать эту роль среды выполнения для доступа к ресурсам AWS. После настройки роли среды выполнения вы также можете использовать Lake Formation и применить детальный контроль доступа к данным для заданий, отправляемых рабочей областью EMR Studio.
Раньше при подключении рабочих областей EMR Studio к кластерам EMR все рабочие области должны были использовать один и тот же Управление идентификацией и доступом AWS (IAM), а именно роль кластера Эластичное вычислительное облако Amazon Профиль экземпляра (Amazon EC2). Таким образом, все рабочие области, подключенные к одному кластеру EMR, имели одинаковый доступ к данным. Для управления доступом к источникам данных каждое рабочее пространство EMR Studio Workspace должно было использовать отдельный кластер EMR, и требовалось несколько профилей экземпляров EMR.
Начиная с выпуска Amazon EMR 6.11, теперь вы можете выбирать роль среды выполнения при подключении рабочей области EMR Studio к кластеру EMR. Эта роль среды выполнения ограничивает доступ на уровне рабочей области. Ваши задания Apache Livy и Apache Spark, которые выполняются из рабочих областей EMR Studio, будут иметь разрешение на доступ только к данным и ресурсам, разрешенным политиками, прикрепленными к роли среды выполнения. Кроме того, когда доступ к данным осуществляется из озер данных, управляемых с помощью Lake Formation, вы можете обеспечить детальный контроль доступа к данным с помощью разрешений Lake Formation. Это поможет вам снизить операционные накладные расходы.
В этом посте мы покажем, как настроить роли среды выполнения для рабочих областей EMR Studio и прикрепить рабочую область к кластеру EMR с ролями среды выполнения. Поскольку крупные предприятия обычно используют несколько учетных записей AWS, и многим из этих учетных записей может потребоваться доступ к озеру данных, управляемому одной учетной записью AWS, в нашем примере используются две учетные записи AWS. Мы объясняем, как контролировать доступ к ролям среды выполнения EMR Studio, управлять доступом к данным между учетными записями в озере данных через Lake Formation и обеспечивать соблюдение разрешений на уровне таблицы и столбца для ролей среды выполнения EMR.
Обзор решения
Чтобы продемонстрировать детальный контроль доступа, мы создадим образец Клей AWS базу данных с именем компании и управлять разрешениями базы данных в Lake Formation. База данных состоит из двух отдельных таблиц:
- сотрудников – В этой таблице хранится информация о сотрудниках компании, включая идентификатор сотрудника, имя, отдел и зарплату.
- продуктов – В этой таблице хранится информация о продуктах, продаваемых компанией, включая идентификатор продукта, название, категорию и цену.
Чтобы продемонстрировать контроль доступа к данным, мы рассматриваем следующих пользователей данных:
- Алиса, специалист по данным из отдела продаж – У нее должен быть доступ только для чтения ко всем столбцам в
products
таблица и выбранные столбцы, включая uID, имя и отдел вemployees
ТАБЛИЦЫ - Боб, специалист по данным из отдела кадров – Он должен иметь доступ только для чтения ко всем столбцам в
employees
таблице и не должен иметь доступа кproducts
ТАБЛИЦЫ
Чтобы продемонстрировать обмен данными между аккаунтами, мы рассмотрим два аккаунта:
- Аккаунт производителя данных – Мы называем этот аккаунт
123456789012
в этом посте. Эта учетная запись управляет необработанными данными в Простой сервис хранения Amazon (Amazon S3) и записывает данные в озеро данных.company
база данных и таблицы должны находиться в этой учетной записи. - Учетная запись потребителя данных – Мы называем этот аккаунт
111122223333
в этом посте. К этой учетной записи пользователи обращаются напрямую для анализа данных и не имеют доступа к данным на запись. Эта учетная запись должна быть доступна Алисе и Бобу.
Архитектура реализована следующим образом:
- Учетная запись производителя данных управляет озером данных. Необработанные данные хранятся в сегментах S3 и каталогизируются в каталоге данных AWS Glue.
- Lake Formation в учетной записи производителя данных управляет доступом к данным через каталог данных и обеспечивает обмен данными между учетными записями с учетной записью потребителя данных.
- Lake Formation в учетной записи потребителя данных управляет доступом между учетными записями к озеру данных на уровне таблицы и детальными разрешениями Lake Formation. Для получения дополнительной информации см. Методы детального контроля доступа.
- Рабочие области EMR Studio в учетной записи потребителя данных используют роли среды выполнения при запуске заданий в кластере EMR.
- Кластер EMR подключается к каталогу данных Glue в учетной записи потребителя данных и запрашивает данные из озера данных посредством совместного использования данных между учетными записями.
Следующая диаграмма иллюстрирует эту архитектуру.
В следующих разделах мы рассмотрим шаги по обмену данными между учетными записями через Lake Formation, запуск рабочей области EMR Studio с ролями среды выполнения и демонстрацию детального контроля доступа.
Предпосылки
У вас должны быть следующие предпосылки:
Создайте инфраструктуру в учетной записи производителя данных.
Выполните следующие шаги для создания ресурсов инфраструктуры:
- Войдите в учетную запись AWS производителя данных (
123456789012
). - Выберите Стек запуска развернуть шаблон CloudFormation для создания необходимых ресурсов.
- Что касается ДанныеОзероВедроСуффикс, введите суффикс сегмента S3, используемого озером данных. Полное имя создаваемой корзины S3 будет
{AwsAccoundId}-{AwsRegion}-{DataLakeBucketSuffix}
. - После создания стека CloudFormation перейдите к Выходы вкладку стека и зафиксируйте значение
DataLakeS3Bucket
для использования на следующем шаге.
Создайте файлы данных и загрузите их в Amazon S3 в учетной записи производителя данных.
Настройте свой интерфейс командной строки AWS для использования идентификатора IAM с разрешением на загрузку в DataLakeS3BucketName в учетной записи AWS производителя данных (123456789012
), или вы можете войти в CloudShell, используя Консоль управления AWS. Выполните следующие шаги:
- На локальном компьютере перейдите в выбранный вами каталог с помощью команды cd, например:
cd ~
. - Запустите скрипт
chmod 744 create_sample_data.sh && ./create_sample_data.sh <DataLakeS3BucketName>
.
Скрипт создаст подкаталог tmp
в вашем текущем рабочем каталоге, создайте тестовые данные в файлах CSV и загрузите файлы в DataLakeS3BucketName
Ведро S3.
Настройте Lake Formation в учетной записи производителя данных.
В этом разделе мы рассмотрим шаги по настройке Lake Formation в учетной записи производителя данных.
Настройка параметров версии общего доступа к данным между аккаунтами Lake Formation
Lake Formation поддерживает несколько версий обмена данными. В этом посте мы используем версию 3. Чтобы узнать больше о различиях между версиями обмена данными, см. Обновление настроек версии совместного доступа к данным между аккаунтами. Чтобы изменить версию обмена данными, см. Чтобы включить новую версию.
Зарегистрируйте местоположение Amazon S3 в качестве местоположения озера данных.
Когда вы зарегистрировать местоположение Amazon S3 с помощью Lake Formation вы указываете роль IAM с разрешениями на чтение и запись в этом месте. После регистрации, когда кластеры EMR запрашивают доступ к этому местоположению Amazon S3, Lake Formation предоставит временные учетные данные предоставленной роли для доступа к данным. Мы уже создали роль LakeFormationCompanyDatabaseDataAccessRole
для этой цели на предыдущем шаге. Чтобы зарегистрировать местоположение Amazon S3 в качестве местоположения озера данных, выполните следующие действия:
- Откройте консоль Lake Formation с помощью администратора озера данных Lake Formation в учетной записи производителя данных (
123456789012
). - На панели навигации выберите Расположение озера данных под Администрация.
- Выберите Зарегистрировать местонахождение.
- Что касается Путь к Amazon S3, войти
s3://<DataLakeS3BucketName>/company-database
. - Что касается Роль IAM, войти
LakeFormationCompanyDatabaseDataAccessRole
. - Что касается Режим разрешения, наведите на Формирование озера.
- Выберите Зарегистрировать местонахождение.
Отозвать разрешения, предоставленные IAMAllowedPrincipals
Ассоциация IAMAllowedPrincipals
В группу входят все пользователи и роли IAM, которым разрешен доступ к ресурсам вашего каталога данных в соответствии с вашими политиками IAM. К применить модель Lake Formation, мы должны отозвать разрешение от IAMAllowedPrincipals используя следующие шаги:
- Откройте консоль Lake Formation с помощью администратора озера данных Lake Formation в учетной записи производителя данных.
- На панели навигации выберите Разрешения озера данных в разделе «Разрешения».
- Фильтровать разрешения по
Database = company
иPrinciple=IAMAllowedPrinciples
. - Выберите все разрешения, предоставленные участнику
IAMAllowedPrincipals
, а затем выбрать Отозвать.
Настройте параметры интеграции приложений
Чтобы обеспечить разрешения для кластера EMR, вам необходимо зарегистрировать значение тега сеанса в Lake Formation. Lake Formation использует этот тег сеанса для авторизации вызывающих абонентов и предоставления доступа к озеру данных. Мы регистрируемся Amazon EMR
как значение тега сеанса. Это значение будет указано в конфигурация безопасности при создании кластера EMR.
Настройте тег сеанса, выполнив следующие действия:
- Откройте консоль Lake Formation с помощью администратора озера данных Lake Formation в учетной записи производителя данных.
- Выберите Настройки интеграции приложений под Администрация в навигационной панели.
- Выберите Разрешить внешним механизмам фильтровать данные в местоположениях Amazon S3, зарегистрированных в Lake Formation..
- Что касается Значения тега сеанса, войти
Amazon EMR
. - Что касается Идентификаторы аккаунтов AWS, введите идентификатор учетной записи AWS потребителя данных (
111122223333
). - Выберите Сохранить.
Предоставьте общий доступ к базе данных и таблицам учетной записи потребителя данных.
Теперь мы предоставляем разрешения учетной записи AWS потребителя данных, включая предоставляемые разрешения. Это позволяет администратору озера данных Lake Formation в учетной записи потребителя данных контролировать доступ к данным в учетной записи.
Предоставьте разрешения базы данных учетной записи потребителя данных.
Выполните следующие шаги:
- Откройте консоль Lake Formation с помощью администратора озера данных Lake Formation в учетной записи производителя данных.
- На панели навигации выберите Databases.
- Выберите базу данных
company
и на Действия меню под Разрешения..., выберите Грант. - В Принципы раздел, выберите Внешние аккаунты и введите учетную запись AWS потребителя данных (
111122223333
). - В LF-теги или ресурсы каталога раздел, выбрать
company
для Databases. - В Разрешения базы данных раздел, выберите Описывать как для Разрешения базы данных и Предоставляемые разрешения.
Это позволяет администратору озера данных в учетной записи потребителя данных описывать базу данных и предоставлять разрешения на описание другим участникам в учетной записи потребителя данных.
- Выберите Грант.
Предоставьте разрешения на таблицу учетной записи потребителя данных.
Выполните следующие шаги:
- Откройте консоль Lake Formation с помощью администратора озера данных Lake Formation в учетной записи производителя данных.
- На панели навигации выберите таблицы.
- Выберите
products
стол, принадлежащийcompany
базе данных и на Действия меню под Разрешения..., выберите Грант. - В Принципы раздел, выберите Внешние аккаунты и войдите в учетную запись потребителя данных AWS (
111122223333
). - В LF-теги или ресурсы каталога раздел, выберите Именованные ресурсы каталога данных и укажите следующее:
- Что касается Databases, выберите
company
. - Что касается таблицы, выберите
products
иemployees
.
- Что касается Databases, выберите
- В Разрешения таблицы раздел, выбрать Выберите и Описывать как для Разрешения таблицы и Предоставляемые разрешения.
Это позволяет администратору озера данных в учетной записи потребителя данных выбирать и описывать таблицы, а также предоставлять разрешения на выбор и описание таблиц другим участникам в учетной записи потребителя данных.
- В Разрешения на данные раздел, выберите Доступ ко всем данным.
- Выберите Грант.
Теперь мы закончили настройку учетной записи производителя данных.
Настройте инфраструктуру в учетной записи потребителя данных
Выполните следующие шаги для создания ресурсов инфраструктуры:
- Войдите в учетную запись потребителя данных (
111122223333
). - Выберите Запустить стек развернуть шаблон CloudFormation для создания необходимых ресурсов.
- Что касается Этикетка выпуска, введите метку выпуска Amazon EMR, которая может быть только emr-6.11 или более поздней версии.
- Что касается Тип экземпляра, выберите тип экземпляра для кластера EMR, например r4.4xlarge.
- Что касается EMRS3BucketNameСуффикс, введите суффикс корзины S3 для хранения журналов кластера EMR и файлов записной книжки EMR. Полное имя создаваемой корзины S3 будет
{AWSAccoundId}-{AWSRegion}-{EMRS3BucketNameSuffix}
. - Что касается Сертификат S3PathToInTransit, введите путь S3 для ZIP-файла, содержащего файлы .pem, используемые для шифрования при передаче.
Инструкции по созданию ZIP-файла, содержащего файлы .pem, и загрузке их в корзину S3 см. Предоставление сертификатов для шифрования данных при передаче с помощью шифрования Amazon EMR..
- После создания стека CloudFormation перейдите к Выходы вкладка стека.
- Зафиксируйте значение
EMRStudioLink
использовать для входа в EMR Studio.
Примите долю ресурса в учетной записи потребителя данных.
Чтобы получить доступ к общим ресурсам, сначала необходимо принять приглашение.
- Откройте консоль AWS RAM учетной записи потребителя данных с идентификатором IAM, имеющим доступ к AWS RAM.
- На панели навигации выберите Ресурсы под Поделился со мной.
Вы должны увидеть две ожидающие публикации общие ресурсы из учетной записи производителя данных.
- Примите обе общие ресурсы.
Вы должны увидеть company
база данных, employees
стол и products
таблица в каталоге данных.
Настройте Lake Formation в учетной записи потребителя данных.
В этом разделе мы рассмотрим шаги по настройке Lake Formation в учетной записи потребителя данных.
Настройте параметры интеграции приложений
Как и в случае с учетной записью производителя данных, вам необходимо зарегистрировать Amazon EMR в качестве тега сеанса. Это значение указано в конфигурация безопасности при создании кластера EMR в стеке CloudFormation.
Для этого выполните следующие шаги:
- Откройте консоль Lake Formation с помощью администратора озера данных Lake Formation в учетной записи потребителя данных (
111122223333
). - Выберите Настройки интеграции приложений под Администрация в навигационной панели.
- Выберите Разрешить внешним механизмам фильтровать данные в местоположениях Amazon S3, зарегистрированных в Lake Formation..
- Что касается Значения тега сеанса, войти
Amazon EMR
. - Что касается Идентификаторы аккаунтов AWS, введите идентификатор учетной записи AWS потребителя данных (
111122223333
). - Выберите Сохранить.
Предоставьте разрешения на описание ролей времени выполнения в базе данных по умолчанию.
Если у вас нет базы данных по умолчанию в Lake Formation или у вашей базы данных по умолчанию уже есть разрешения, которые можно предоставить IAMAllowedPrinciples
, вы можете пропустить этот шаг.
Amazon EMR по умолчанию проверит базу данных по умолчанию. Если у вас уже есть база данных по умолчанию в Lake Formation, предоставьте разрешение описания ролям среды выполнения в базе данных по умолчанию, выполнив следующие шаги:
- Откройте консоль Lake Formation с пользователем администратора озера данных Lake Formation в учетной записи потребителя данных.
- На панели навигации выберите Databases.
- Выберите базу данных по умолчанию, убедитесь, что идентификатор учетной записи владельца соответствует учетной записи потребителя данных (
111122223333
), и на Действия Меню, выберите Грант. - В Раздел «Принципы», наведите на Пользователи и роли IAM.
- Что касается Пользователи и роли IAM, выберите
sales-runtime-role
иhuman-resource-runtime-role
. - Что касается LF-теги или ресурсы каталога, наведите на Именованные ресурсы каталога данных и выберите значение по умолчанию для Databases.
- В Разрешения базы данных раздел, для Разрешения базы данных, выберите Описывать.
- Выберите Грант.
Создайте ссылку на ресурс для общей базы данных.
Чтобы получить доступ к ресурсам базы данных и таблиц, которые были общими для учетной записи AWS производителя данных, вам необходимо создать ссылка на ресурс в учетной записи AWS потребителя данных. Ссылка на ресурс — это объект каталога данных, который является ссылкой на локальную или общую базу данных или таблицу. После создания ссылки на ресурс на базу данных или таблицу вы можете использовать имя ссылки на ресурс везде, где бы вы использовали имя базы данных или таблицы. На этом этапе вы предоставляете разрешение на ссылки на ресурсы для принципов роли среды выполнения. Затем роли среды выполнения будут получать доступ к данным в общих базах данных и базовых таблицах через ссылку на ресурс.
Чтобы создать ссылку на ресурс, выполните следующие действия:
- Откройте консоль Lake Formation с помощью администратора озера данных Lake Formation в учетной записи потребителя данных.
- На панели навигации выберите Databases.
- Выберите
company
базе данных убедитесь, что идентификатор учетной записи владельца соответствует учетной записи производителя данных (123456789012
), и на Действия Меню, выберите Создание ссылок на ресурсы. - Что касается Название ссылки на ресурс, введите название ссылки на ресурс (например,
company-shared
). - Что касается Регион общей базы данных, выберите Регион
company
база данных. - Что касается Общая база данных, выберите базу данных компании.
- Что касается Идентификатор владельца общей базы данных, введите идентификатор учетной записи производителя данных (
123456789012
). - Выберите Создавай.
Предоставление разрешений на ссылку на ресурс по принципу роли среды выполнения
Предоставьте разрешения на ссылку ресурса для роли времени выполнения продаж и роли времени выполнения человеческих ресурсов, выполнив следующие действия:
- Откройте консоль Lake Formation с помощью администратора озера данных Lake Formation в учетной записи потребителя данных.
- На панели навигации выберите Databases.
- Выберите ссылку на ресурс (
company-shared
) и на Действия Меню, выберите Грант. - В Принципы раздел, выберите Пользователи и роли IAM, и выберите
sales-runtime-role
иhuman-resource-runtime-role
. - В LF-теги или ресурсы каталога раздел, для Databases, выберите
company-shared
. - В Разрешения ссылки на ресурс раздел, выберите Описывать.
Это позволяет ролям времени выполнения описывать ссылку на ресурс. Мы не выбираем предоставляемые разрешения, поскольку роли среды выполнения не должны иметь возможность предоставлять разрешения другим принципам.
- Выберите Грант.
Предоставьте разрешение на доступ к таблицам принципу роли среды выполнения.
Вам необходимо предоставить разрешения на доступ к таблицам, чтобы sales-runtime-role
и human-resource-runtime-role
чтобы разрешить доступ к данным:
Human-resource-runtime-role
должны иметь разрешения на описание и выбор для всех столбцов вemployees
таблице, и нет разрешений наproducts
таблице.Sales-runtime-role
должны иметь права выбора для столбцовuid
,name
иdepartment
вemployees
таблицу, а также опишите и выберите разрешения для всех столбцов в таблице.products
таблице.
Предоставьте разрешение на таблицу сотрудников для роли Human-Resource-Runtime-Role.
Выполните следующие шаги:
- Откройте консоль Lake Formation с помощью администратора озера данных Lake Formation в учетной записи потребителя данных.
- На панели навигации выберите Databases.
- Выберите ссылку на ресурс (
company-shared
) и на Действия Меню, выберите Грант на цель. - В Раздел «Принципы», наведите на Пользователи и роли IAM, а затем выберите
human-resource-runtime-role
. - В LF-теги или ресурсы каталога раздел, выберите Именованные ресурсы каталога данных и укажите следующее:
- Что касается Databases, выберите
company
. - Что касается таблицывыберите
employees
.
- Что касается Databases, выберите
- В Разрешения таблицы раздел, для Разрешения таблицы, наведите на Описывать и Выберите.
- В Разрешения на данные раздел, выберите Доступ ко всем данным.
- Выберите Грант.
Предоставьте разрешение на доступ к таблице сотрудников роли времени выполнения продаж.
Выполните следующие шаги:
- Откройте консоль Lake Formation с помощью администратора озера данных Lake Formation в учетной записи потребителя данных.
- На панели навигации выберите Databases.
- Выберите ссылку на ресурс (
company-shared
) и на Действия Меню, выберите Грант на цель. - В Раздел «Принципы», наведите на Пользователи и роли IAM, а затем выберите
sales-runtime-role
. - В LF-теги или ресурсы каталога раздел, выберите Именованные ресурсы каталога данных и укажите следующее:
- Что касается Databases, выберите
company
. - Что касается таблицы, выберите
employees
.
- Что касается Databases, выберите
- В Разрешения таблицы раздел, для Разрешения таблицы, наведите на Выберите.
- В Разрешения на данные раздел, выберите Доступ на основе столбцов.
- Выберите Включить столбцы и выберите
uid
,name
иdepartment
колонны. - Выберите Грант.
Предоставьте разрешение на доступ к таблице продуктов роли времени выполнения продаж.
Выполните следующие шаги:
- Откройте консоль Lake Formation с помощью администратора озера данных Lake Formation в учетной записи потребителя данных.
- На панели навигации выберите Databases.
- Выберите ссылку на ресурс (
company-shared
) и на Действия Меню, выберите Грант на цель. - В Раздел «Принципы», наведите на Пользователи и роли IAM, а затем выберите
sales-runtime-role
. - В LF-теги или ресурсы каталога раздел, выберите Именованные ресурсы каталога данных и укажите следующее:
- Что касается Databases, выберите
company
. - Что касается таблицы, выберите
products
.
- Что касается Databases, выберите
- В Разрешения таблицы раздел, для Разрешения таблицы, наведите на Выберите и Описывать.
- В Разрешения на данные раздел, выберите Доступ ко всем данным.
- Выберите Грант.
Войдите в EMR Studio и используйте рабочую область EMR Studio.
Смените свою роль в alice-role
or bob-role
на консоли, используя разные веб-браузеры для проверки доступа. Открой EMRStudioLink
URL-адрес из выходных данных стека CloudFormation для входа в EMR Studio с каждой ролью, а затем выполните следующие шаги:
- Выберите Workspaces в панели навигации и выберите Создать рабочее пространство.
- Введите имя и описание рабочей области.
- Выберите Создать рабочее пространство.
Новая вкладка, содержащая JupyterLab, откроется автоматически, когда рабочая область будет готова. При необходимости включите всплывающие окна в вашем браузере.
- Выбрал Вычисление на панели навигации, чтобы присоединить рабочую область EMR Studio к вычислительному механизму.
- Выберите Кластер EMR на EC2 для Тип вычисления.
- Выберите идентификатор кластера EMR, созданный с помощью AWS CloudFormation.
- Что касается Роль времени выполнения, выберите
sales-runtime-role
если вы вошли в систему какalice-role
. Выберитеhuman-resource-runtime-role
если вы вошли в систему какbob-role
. - Выберите Прикреплять.
Запустите код в рабочей области EMR Studio и проверьте доступ к данным.
Запустите следующий код в рабочей области EMR Studio с ядром PySpark после входа в систему с ролью alice или bob:
При использовании разных ролей вы должны увидеть разные результаты.
Согласно нашей конфигурации доступа к данным в Lake Formation, Алиса будет иметь полный доступ к данным для products
стол. Она может просматривать все столбцы, кроме зарплаты, в employees
таблице.
Что касается Боба, согласно нашей конфигурации доступа к данным в Lake Formation, он будет иметь полный доступ к данным в employees
таблице, но у него нет доступа к products
таблице.
Убирать
Когда вы закончите экспериментировать с этим решением, очистите свои ресурсы:
- Остановите и удалите рабочие области EMR Studio, созданные в учетной записи AWS потребителя данных.
- Удалить весь контент в корзине S3.
EMRS3Bucket
в учетной записи AWS потребителя данных. - Удалите стек CloudFormation в учетной записи AWS потребителя данных.
- Удалить весь контент в корзине S3.
DataLakeS3Bucket
в учетной записи AWS производителя данных. - Удалите стек CloudFormation в учетной записи AWS производителя данных.
Заключение
В этом посте показано, как можно использовать роли среды выполнения для подключения к рабочему пространству EMR Studio с Amazon EMR, чтобы применить детальный контроль доступа к данным между учетными записями с помощью Lake Formation. Мы также продемонстрировали, как несколько пользователей EMR Studio могут подключиться к одному и тому же кластеру EMR, каждый из которых использует роль среды выполнения с разрешениями, соответствующими индивидуальному уровню доступа к данным.
Дополнительные сведения об использовании рабочих пространств EMR Studio с Lake Formation см. Запустите рабочую область EMR Studio с ролью среды выполнения.. Мы рекомендуем вам опробовать эту новую функцию и связаться с нами, если у вас возникнут вопросы или отзывы!
Об авторах
Эшли Чжоу — инженер-разработчик программного обеспечения в AWS. Она интересуется аналитикой данных и распределенными системами.
Шривидья Партхасарати является старшим архитектором больших данных в команде AWS Lake Formation. Ей нравится создавать решения для аналитики и сетки данных на AWS и делиться ими с сообществом.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/big-data/use-iam-runtime-roles-with-amazon-emr-studio-workspaces-and-aws-lake-formation-for-cross-account-fine-grained-access-control/
- :имеет
- :является
- :нет
- $UP
- 100
- 107
- 11
- 20
- 7
- 8
- a
- в состоянии
- О нас
- Принять
- доступ
- Доступ к данным
- Доступ
- доступной
- По
- Учетная запись
- Учетные записи
- через
- После
- Алиса
- Все
- позволять
- разрешено
- позволяет
- уже
- причислены
- Amazon
- Amazon EC2
- Амазонка ЭМИ
- Amazon Web Services
- an
- анализ
- аналитика
- и
- любой
- апаш
- Apache Spark
- Применение
- Приложения
- Применить
- архитектура
- МЫ
- AS
- At
- прикреплять
- санкционировать
- автоматически
- AWS
- AWS CloudFormation
- Клей AWS
- Формирование озера AWS
- BE
- , так как:
- принадлежит
- между
- большой
- Big Data
- зерно
- изоферменты печени
- браузер
- браузеры
- Строительство
- но
- by
- CAN
- захватить
- каталог
- Категории
- CD
- сертификаты
- изменение
- проверка
- выбор
- Выберите
- чистым
- Кластер
- код
- Колонки
- сообщество
- Компания
- Компании
- полный
- комплектующие
- Вычисление
- Конфигурация
- Свяжитесь
- подключает
- Рассматривать
- состоит
- Консоли
- потребитель
- содержит
- содержание
- контроль
- Создайте
- создали
- Создающий
- Полномочия
- Текущий
- данным
- доступ к данным
- анализ данных
- Анализ данных
- Озеро данных
- наука о данных
- ученый данных
- обмен данными
- База данных
- базы данных
- По умолчанию
- определять
- демонстрировать
- убивают
- Кафедра
- развертывание
- описывать
- описание
- развивать
- Развитие
- Различия
- различный
- непосредственно
- распределенный
- распределенные системы
- do
- не
- Dont
- вниз
- каждый
- Сотрудник
- сотрудников
- включить
- позволяет
- поощрять
- шифрование
- обеспечивать соблюдение
- Двигатель
- инженер
- Проект и
- Инженеры
- Двигатели
- Enter
- предприятий
- Окружающая среда
- Эфир (ETH)
- пример
- Кроме
- Объяснять
- и, что лучший способ
- Файл
- Файлы
- фильтр
- Во-первых,
- после
- следующим образом
- Что касается
- образование
- от
- полный
- полностью
- функциональность
- данный
- Go
- Управляет
- предоставлять
- предоставленный
- группы
- было
- счастливый
- Есть
- he
- помогает
- Как
- How To
- HTML
- HTTP
- HTTPS
- человек
- ОТДЕЛ КАДРОВ
- Набор персонала
- IAM
- ID
- Личность
- if
- иллюстрирует
- в XNUMX году
- in
- включает в себя
- В том числе
- individual
- информация
- Инфраструктура
- пример
- инструкции
- интегрированный
- интеграции.
- заинтересованный
- вводить
- приглашение
- IT
- Джобс
- JPG
- этикетка
- озеро
- озера
- большой
- Крупные предприятия
- запуск
- УЧИТЬСЯ
- уровень
- ОГРАНИЧЕНИЯ
- LINK
- связи
- локальным
- расположение
- места
- машина
- сделать
- ДЕЛАЕТ
- управлять
- управляемого
- управление
- управляет
- многих
- согласование
- механизм
- Меню
- сетке
- может быть
- БОЛЕЕ
- двигаться
- с разными
- должен
- имя
- Названный
- Откройте
- Навигация
- необходимо
- Необходимость
- необходимый
- Новые
- следующий
- нет
- ноутбук
- ноутбуки
- сейчас
- объект
- of
- .
- on
- только
- открытый
- оперативный
- or
- Другое
- наши
- внешний
- выходной
- владелец
- хлеб
- путь
- в ожидании
- разрешение
- Разрешения
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- сборах
- После
- мощностью
- предпосылки
- предыдущий
- Основной
- директора школы
- принцип
- Принципы
- производитель
- Продукт
- Продукция
- Профиль
- Профили
- обеспечивать
- при условии
- приводит
- цель
- Питон
- Запросы
- Вопросы
- R
- Оперативная память
- Сырье
- необработанные данные
- готовый
- уменьшить
- относиться
- область
- зарегистрироваться
- зарегистрированный
- регистрирующий
- освободить
- запросить
- ресурс
- Полезные ресурсы
- результат
- Итоги
- Роли
- роли
- Run
- Бег
- заработная плата
- главная
- то же
- масштаб
- Наука
- Ученый
- Ученые
- скрипт
- Раздел
- разделах
- посмотреть
- выбранный
- старший
- отдельный
- сервер
- Услуги
- Сессия
- набор
- установка
- настройки
- установка
- Поделиться
- общие
- Акции
- разделение
- она
- должен
- показал
- подпись
- подписанный
- подписание
- просто
- одинарной
- Software
- разработка программного обеспечения
- проданный
- Решение
- Решения
- Источники
- Искриться
- стек
- Шаг
- Шаги
- диск
- магазин
- хранить
- магазины
- простой
- студия
- представленный
- такие
- поставка
- Поддержка
- системы
- ТАБЛИЦЫ
- TAG
- команда
- шаблон
- временный
- тестXNUMX
- который
- Ассоциация
- их
- Их
- тогда
- следовательно
- этой
- те
- Через
- Сроки
- в
- инструменты
- транзит
- стараться
- два
- напишите
- типично
- ui
- под
- лежащий в основе
- Загрузка
- URL
- us
- использование
- используемый
- Информация о пользователе
- пользователей
- использования
- через
- ценностное
- проверить
- версия
- с помощью
- Вид
- визуализации
- от
- we
- Web
- Веб-браузеры
- веб-сервисы
- были
- когда
- который
- все
- будете
- в
- работает
- бы
- записывать
- письменный
- YAML
- являетесь
- ВАШЕ
- зефирнет
- ZIP