Estúdio Amazon EMR é um ambiente de desenvolvimento integrado (IDE) que torna mais fácil para cientistas e engenheiros de dados desenvolver, visualizar e depurar aplicativos de engenharia e ciência de dados escritos em R, Python, Scala e PySpark. O EMR Studio fornece notebooks Jupyter totalmente gerenciados e ferramentas como Spark UI e YARN Timeline Server por meio do EMR Studio Workspaces. Você pode anexar um EMR Studio Workspace a um cluster EMR e usar o poder de computação do cluster EMR e executar trabalhos de ciência de dados no cluster. Os dados são frequentemente armazenados em data lakes gerenciados por Formação AWS Lake, permitindo que você aplique controle de acesso refinado por meio de um mecanismo simples de concessão ou revogação.
Estamos felizes em apresentar funções de tempo de execução para espaços de trabalho do EMR Studio. Agora você pode definir uma função de tempo de execução e atribuí-la a um cluster do EMR ao anexar um EMR Studio Workspace. Os trabalhos no cluster EMR usarão essa função de tempo de execução para acessar os recursos da AWS. Depois de configurar uma função de tempo de execução, você também pode usar o Lake Formation e aplicar controle de acesso a dados refinado para os trabalhos enviados pelo EMR Studio Workspace.
Anteriormente, ao anexar espaços de trabalho do EMR Studio a clusters do EMR, todos os espaços de trabalho tinham que usar o mesmo Gerenciamento de acesso e identidade da AWS (IAM) — ou seja, a função do cluster Amazon Elastic Compute Nuvem (Amazon EC2) perfil de instância. Portanto, todos os espaços de trabalho anexados ao mesmo cluster do EMR tinham o mesmo acesso aos dados. Para controlar o acesso às fontes de dados, cada espaço de trabalho do EMR Studio precisava usar um cluster EMR diferente, e eram necessários vários perfis de instância do EMR.
A partir do lançamento do Amazon EMR 6.11, agora você pode escolher uma função de tempo de execução ao anexar um EMR Studio Workspace a um cluster do EMR. Essa função de runtime reduz o acesso no nível do Workspace. Seus trabalhos Apache Livy e Apache Spark executados nos espaços de trabalho do EMR Studio terão permissão para acessar apenas os dados e recursos permitidos pelas políticas anexadas à função de tempo de execução. Além disso, quando os dados são acessados de data lakes gerenciados com o Lake Formation, você pode impor um controle de acesso a dados refinado usando permissões do Lake Formation. Isso ajuda a reduzir a sobrecarga operacional.
Nesta postagem, demonstramos como configurar funções de tempo de execução para espaços de trabalho do EMR Studio e anexar um espaço de trabalho a um cluster do EMR com funções de tempo de execução. Como as grandes empresas normalmente usam várias contas da AWS, e muitas dessas contas podem precisar de acesso a um data lake gerenciado por uma única conta da AWS, nosso exemplo usa duas contas da AWS. Explicamos como controlar o acesso às funções de tempo de execução do EMR Studio, gerenciar o acesso a dados entre contas em um data lake por meio do Lake Formation e impor permissões em nível de tabela e coluna às funções de tempo de execução do EMR.
Visão geral da solução
Para demonstrar o controle de acesso refinado, criamos um exemplo Cola AWS banco de dados denominado empresa e gerenciar a permissão do banco de dados no Lake Formation. O banco de dados consiste em duas tabelas separadas:
- colaboradores – Esta tabela armazena informações sobre os funcionários da empresa, incluindo ID do funcionário, nome, departamento e salário
- Produtos – Esta tabela armazena informações sobre os produtos vendidos pela empresa, incluindo ID do produto, nome, categoria e preço
Para demonstrar o controle de acesso aos dados, consideramos os seguintes usuários de dados:
- Alice, uma cientista de dados da equipe de vendas – Ela deve ter acesso somente leitura a todas as colunas do
products
tabela e colunas selecionadas, incluindo uID, nome e departamento noemployees
mesa - Bob, um cientista de dados da equipe de recursos humanos – Ele deve ter acesso somente leitura a todas as colunas em
employees
tabela e não deve ter acesso aoproducts
mesa
Para demonstrar o compartilhamento de dados entre contas, consideramos duas contas:
- Conta do produtor de dados – Nos referimos a esta conta como
123456789012
nesta postagem. Esta conta gerencia os dados brutos em Serviço de armazenamento simples da Amazon (Amazon S3) e grava dados no data lake. Ocompany
banco de dados e tabelas devem estar nesta conta. - Conta de consumidor de dados – Nos referimos a esta conta como
111122223333
nesta postagem. Esta conta é acessada diretamente pelos usuários para análise de dados e não possui acesso de gravação aos dados. Esta conta deve ser acessível por Alice e Bob.
A arquitetura é implementada da seguinte forma:
- A conta do produtor de dados gerencia um data lake. Os dados brutos são armazenados em buckets S3 e catalogados no AWS Glue Data Catalog.
- O Lake Formation na conta do produtor de dados rege o acesso aos dados por meio do Catálogo de Dados e fornece compartilhamento de dados entre contas com a conta do consumidor de dados.
- O Lake Formation na conta do consumidor de dados rege o acesso entre contas ao data lake no nível da tabela e permissões refinadas do Lake Formation. Para obter mais informações, consulte Métodos para controle de acesso refinado.
- Os espaços de trabalho do EMR Studio na conta do consumidor de dados usam funções de tempo de execução ao executar trabalhos em um cluster do EMR.
- O cluster EMR se conecta ao Glue Data Catalog na conta do consumidor de dados e consulta os dados do data lake por meio do compartilhamento de dados entre contas.
O diagrama a seguir ilustra essa arquitetura.
Nas seções a seguir, percorremos as etapas para compartilhar dados entre contas por meio do Lake Formation, executar um EMR Studio Workspace com funções de tempo de execução e demonstrar controle de acesso refinado.
Pré-requisitos
Você deve ter os seguintes pré-requisitos:
Crie a infraestrutura na conta do produtor de dados
Conclua as etapas a seguir para criar os recursos de infraestrutura:
- Faça login na conta AWS do produtor de dados (
123456789012
). - Escolha Pilha de Lançamento para implantar um modelo CloudFormation para criar os recursos necessários.
- Escolha Sufixo DataLakeBucket, insira o sufixo do bucket S3 usado pelo data lake. Todo o nome do bucket S3 a ser criado será
{AwsAccoundId}-{AwsRegion}-{DataLakeBucketSuffix}
. - Depois que a pilha do CloudFormation for criada, navegue até o Saídas guia da pilha e capture o valor de
DataLakeS3Bucket
para usar na próxima etapa.
Crie arquivos de dados e carregue-os no Amazon S3 na conta do produtor de dados
Configure sua AWS CLI para usar a identidade do IAM com permissão para fazer upload para DataLakeS3BucketName na conta da AWS do produtor de dados (123456789012
) ou você pode fazer login no CloudShell usando o Console de gerenciamento da AWS. Conclua as seguintes etapas:
- Na sua máquina local, vá para um diretório de sua escolha com o comando cd, por exemplo,
cd ~
. - execute o escrita de
chmod 744 create_sample_data.sh && ./create_sample_data.sh <DataLakeS3BucketName>
.
O script criará um subdiretório tmp
em seu diretório de trabalho atual, crie os dados de teste em arquivos CSV e carregue os arquivos para o DataLakeS3BucketName
Balde S3.
Configurar o Lake Formation na conta do produtor de dados
Nesta seção, percorremos as etapas para configurar o Lake Formation na conta do produtor de dados.
Definir configurações de versão de compartilhamento de dados entre contas do Lake Formation
Lake Formation oferece suporte a várias versões de compartilhamento de dados. Para esta postagem, usamos a versão 3. Para saber mais sobre as diferenças entre as versões de compartilhamento de dados, consulte Atualizando as configurações da versão de compartilhamento de dados entre contas. Para alterar a versão de compartilhamento de dados, consulte Para ativar a nova versão.
Registre o local do Amazon S3 como o local do data lake
Quando você registrar um local do Amazon S3 com o Lake Formation, você especifica uma função do IAM com permissões de leitura/gravação nesse local. Após o registro, quando os clusters do EMR solicitarem acesso a esse local do Amazon S3, o Lake Formation fornecerá credenciais temporárias da função fornecida para acessar os dados. Já criamos a função LakeFormationCompanyDatabaseDataAccessRole
para este propósito na etapa anterior. Para registrar o local do Amazon S3 como local do data lake, conclua as seguintes etapas:
- Abra o console do Lake Formation com o administrador do data lake do Lake Formation na conta do produtor de dados (
123456789012
). - No painel de navegação, escolha Localizações de data lake para Áreas de Suporte.
- Escolha Registrar localização.
- Escolha Caminho Amazon S3, entrar
s3://<DataLakeS3BucketName>/company-database
. - Escolha Papel do IAM, entrar
LakeFormationCompanyDatabaseDataAccessRole
. - Escolha Modo de permissão, selecione Formação de Lago.
- Escolha Registrar localização.
Revogar permissões concedidas a IAMAllowedPrincipals
A IAMAllowedPrincipals
O grupo inclui todos os usuários e funções do IAM que têm permissão de acesso aos recursos do Data Catalog pelas políticas do IAM. Para aplicar o modelo Lake Formation, nós precisamos revogar permissão de IAMAllowedPrincipals usando os seguintes passos:
- Abra o console do Lake Formation com o administrador do data lake do Lake Formation na conta do produtor de dados.
- No painel de navegação, escolha Permissões do data lake em Permissões.
- Filtrar permissões por
Database = company
ePrinciple=IAMAllowedPrinciples
. - Selecione todas as permissões concedidas ao principal
IAMAllowedPrincipals
e escolha Revogar.
Definir configurações de integração de aplicativos
Para impor permissões para o cluster EMR, você precisa registrar um valor de tag de sessão no Lake Formation. Lake Formation usa essa tag de sessão para autorizar chamadores e fornecer acesso ao data lake. Nós registramos Amazon EMR
como o valor da tag de sessão. Este valor será referenciado no configuração de segurança ao criar o cluster EMR.
Configure a tag de sessão seguindo estas etapas:
- Abra o console do Lake Formation com o administrador do data lake do Lake Formation na conta do produtor de dados.
- Escolha Configurações de integração de aplicativos para Áreas de Suporte no painel de navegação.
- Selecionar Permitir que mecanismos externos filtrem dados em locais do Amazon S3 registrados no Lake Formation.
- Escolha Valores de tag de sessão, entrar
Amazon EMR
. - Escolha IDs de conta da AWS, insira o ID da conta da AWS do consumidor de dados (
111122223333
). - Escolha Salvar.
Compartilhe o banco de dados e as tabelas com a conta do consumidor de dados
Agora concedemos permissões à conta AWS do consumidor de dados, incluindo permissões concedíveis. Isso permite que o administrador do data lake do Lake Formation na conta do consumidor de dados controle o acesso aos dados dentro da conta.
Conceder permissões de banco de dados à conta do consumidor de dados
Conclua as seguintes etapas:
- Abra o console do Lake Formation com o administrador do data lake do Lake Formation na conta do produtor de dados.
- No painel de navegação, escolha Bases de dados.
- Selecione o banco de dados
company
e no Opções menu, sob Permissões, escolha Conceda. - No Princípios seção, selecione Contas externas e insira a conta AWS do consumidor de dados (
111122223333
). - No LF-Tags ou recursos de catálogo seção, escolha
company
para Bases de dados. - No Permissões de banco de dados seção, selecione Descrever tanto Permissões de banco de dados e Permissões concedíveis.
Isso permite que o administrador do data lake na conta do consumidor de dados descreva o banco de dados e conceda permissões de descrição a outros principais na conta do consumidor de dados.
- Escolha Conceda.
Conceder permissões de tabela à conta do consumidor de dados
Conclua as seguintes etapas:
- Abra o console do Lake Formation com o administrador do data lake do Lake Formation na conta do produtor de dados.
- No painel de navegação, escolha Tabelas.
- Selecione os
products
mesa, que pertence aocompany
banco de dados e no Opções menu, sob Permissões, escolha Conceda. - No Princípios seção, selecione Contas externas e insira a conta AWS do consumidor de dados (
111122223333
). - No LF-Tags ou recursos de catálogo seção, selecione Recursos de catálogo de dados nomeados e especifique o seguinte:
- Escolha Bases de dados, escolha
company
. - Escolha Tabelas, escolha
products
eemployees
.
- Escolha Bases de dados, escolha
- No Permissões de mesa seção, escolha Selecionar e Descrever tanto Permissões de mesa e Permissões concedíveis.
Isso permite que o administrador do data lake na conta do consumidor de dados selecione e descreva as tabelas e conceda permissões de seleção e descrição de tabela a outros principais na conta do consumidor de dados.
- No Permissões de dados seção, selecione Todos os acessos a dados.
- Escolha Conceda.
Agora terminamos de configurar a conta do produtor de dados.
Configure a infraestrutura na conta do consumidor de dados
Conclua as etapas a seguir para criar os recursos de infraestrutura:
- Faça login na conta do consumidor de dados (
111122223333
). - Escolha Pilha de lançamento para implantar um modelo CloudFormation para criar os recursos necessários.
- Escolha Etiqueta de lançamento, insira o rótulo de versão do Amazon EMR a ser usado, que só pode ser emr-6.11 ou superior.
- Escolha Tipo de instância, escolha o tipo de instância do cluster EMR, como r4.4xlarge.
- Escolha EMRS3BucketNameSuffix, insira o sufixo do bucket S3 para armazenar logs de cluster EMR e arquivos de notebook EMR. O nome completo do bucket S3 a ser criado será
{AWSAccoundId}-{AWSRegion}-{EMRS3BucketNameSuffix}
. - Escolha Certificado S3PathToInTransit, insira o caminho S3 para o arquivo .zip que contém os arquivos .pem usados para criptografia em trânsito.
Para obter instruções sobre como criar o arquivo .zip que contém os arquivos .pem e carregá-los no bucket do S3, consulte Fornecimento de certificados para criptografia de dados em trânsito com criptografia do Amazon EMR.
- Depois que a pilha do CloudFormation for criada, navegue até o Saídas guia da pilha.
- Capturar o valor de
EMRStudioLink
usar para fazer login no EMR Studio.
Aceite o compartilhamento de recursos na conta do consumidor de dados
Para acessar recursos compartilhados, você deve primeiro aceitar o convite.
- Abra o console do AWS RAM da conta do consumidor de dados com a identidade do IAM que tem acesso ao AWS RAM.
- No painel de navegação, escolha Compartilhamento de recursos para Compartilhou comigo.
Você deverá ver dois compartilhamentos de recursos pendentes da conta do produtor de dados.
- Aceite ambos os compartilhamentos de recursos.
Você deveria ver o company
base de dados, employees
mesa e products
tabela no Catálogo de Dados.
Configurar o Lake Formation na conta do consumidor de dados
Nesta seção, percorremos as etapas para configurar o Lake Formation na conta do consumidor de dados.
Definir configurações de integração de aplicativos
Semelhante à configuração na conta do produtor de dados, você precisa registrar o Amazon EMR como uma tag de sessão. Este valor é referenciado no configuração de segurança ao criar o cluster EMR na pilha do CloudFormation.
Para fazer isso, conclua as seguintes etapas:
- Abra o console do Lake Formation com o administrador do data lake do Lake Formation na conta do consumidor de dados (
111122223333
). - Escolha Configurações de integração de aplicativos para Áreas de Suporte no painel de navegação.
- Selecionar Permitir que mecanismos externos filtrem dados em locais do Amazon S3 registrados no Lake Formation.
- Escolha Valores de tag de sessão, entrar
Amazon EMR
. - Escolha IDs de conta da AWS, insira o ID da conta da AWS do consumidor de dados (
111122223333
). - Escolha Salvar.
Conceda permissões de descrição para funções de tempo de execução no banco de dados padrão
Se você não tiver um banco de dados padrão no Lake Formation ou se seu banco de dados padrão já tiver permissões para conceder a IAMAllowedPrinciples
, você pode pular esta etapa.
O Amazon EMR verificará o banco de dados padrão por padrão. Se você já tiver um banco de dados padrão em seu Lake Formation, conceda a permissão de descrição às funções de tempo de execução no banco de dados padrão concluindo as etapas a seguir:
- Abra o console do Lake Formation com o usuário administrador do data lake do Lake Formation na conta do consumidor de dados.
- No painel de navegação, escolha Bases de dados.
- Selecione o banco de dados padrão, verifique se o ID da conta do proprietário é a conta do consumidor de dados (
111122223333
), e no Opções menu, escolha Conceda. - No Seção de princípios, selecione Usuários e funções IAM.
- Escolha Usuários e funções IAM, escolha
sales-runtime-role
ehuman-resource-runtime-role
. - Escolha LF-Tags ou recursos de catálogo, selecione Recursos de catálogo de dados nomeados e escolha o padrão para Bases de dados.
- No Permissões de banco de dados seção, para Permissões de banco de dados, escolha Descrever.
- Escolha Conceda.
Crie um link de recurso para o banco de dados compartilhado
Para acessar os recursos de banco de dados e tabelas que foram compartilhados pela conta AWS do produtor de dados, você precisa criar um link de recurso na conta AWS do consumidor de dados. Um link de recurso é um objeto do Catálogo de Dados que é um link para um banco de dados ou tabela local ou compartilhado. Depois de criar um link de recurso para um banco de dados ou tabela, você poderá usar o nome do link de recurso sempre que usaria o nome do banco de dados ou da tabela. Nesta etapa, você concede permissão nos links de recursos para os princípios da função de tempo de execução. As funções de tempo de execução acessarão então os dados em bancos de dados compartilhados e tabelas subjacentes por meio do link de recurso.
Para criar um link de recurso, conclua as etapas a seguir:
- Abra o console do Lake Formation com o administrador do data lake do Lake Formation na conta do consumidor de dados.
- No painel de navegação, escolha Bases de dados.
- Selecione os
company
banco de dados, verifique se o ID da conta do proprietário é a conta do produtor de dados (123456789012
), e no Opções menu, escolha Criar links de recursos. - Escolha Nome do link do recurso, insira o nome do link do recurso (por exemplo,
company-shared
). - Escolha Região do banco de dados compartilhado, escolha a região do
company
base de dados. - Escolha banco de dados compartilhado, escolha o banco de dados da empresa.
- Escolha ID do proprietário do banco de dados compartilhado, insira o ID da conta do produtor de dados (
123456789012
). - Escolha Crie.
Conceder permissões no link de recursos para o princípio da função de tempo de execução
Conceda permissões no link de recurso para sales-runtime-role e human-resource-runtime-role usando as seguintes etapas:
- Abra o console do Lake Formation com o administrador do data lake do Lake Formation na conta do consumidor de dados.
- No painel de navegação, escolha Bases de dados.
- Selecione o link do recurso (
company-shared
) e no Opções menu, escolha Conceda. - No Princípios seção, selecione Usuários e funções IAMe escolha
sales-runtime-role
ehuman-resource-runtime-role
. - No LF-Tags ou recursos de catálogo seção, para Bases de dados, escolha
company-shared
. - No Permissões de links de recursos seção, selecione Descrever.
Isso permite que as funções de tempo de execução descrevam o link de recursos. Não fazemos seleções para permissões concedíveis porque as funções de tempo de execução não devem ser capazes de conceder permissões a outros princípios.
- Escolha Conceda.
Conceda permissão nas tabelas ao princípio da função de tempo de execução
Você precisa conceder permissões nas tabelas para sales-runtime-role
e human-resource-runtime-role
para permitir o acesso aos dados:
Human-resource-runtime-role
deve ter permissões de descrição e seleção em todas as colunas doemployees
tabela e nenhuma permissão naproducts
tabela.Sales-runtime-role
deveria ter permissões de seleção nas colunasuid
,name
edepartment
noemployees
tabela e descrever e selecionar permissões em todas as colunas naproducts
tabela.
Conceda permissão na tabela de funcionários para função de tempo de execução de recursos humanos
Conclua as seguintes etapas:
- Abra o console do Lake Formation com o administrador do data lake do Lake Formation na conta do consumidor de dados.
- No painel de navegação, escolha Bases de dados.
- Selecione o link do recurso (
company-shared
) e no Opções menu, escolha Conceder no alvo. - No Seção de princípios, selecione Usuários e funções IAM, Em seguida, escolha
human-resource-runtime-role
. - No LF-Tags ou recursos de catálogo seção, selecione Recursos de catálogo de dados nomeados e especifique o seguinte:
- Escolha Bases de dados, escolha
company
. - Escolha Tabelas¸ escolher
employees
.
- Escolha Bases de dados, escolha
- No Permissões de mesa seção, para Permissões de mesa, selecione Descrever e Selecionar.
- No Permissões de dados seção, selecione Todos os acessos a dados.
- Escolha Conceda.
Conceda permissão na tabela de funcionários para a função de tempo de execução de vendas
Conclua as seguintes etapas:
- Abra o console do Lake Formation com o administrador do data lake do Lake Formation na conta do consumidor de dados.
- No painel de navegação, escolha Bases de dados.
- Selecione o link do recurso (
company-shared
) e no Opções menu, escolha Conceder no alvo. - No Seção de princípios, selecione Usuários e funções IAM, Em seguida, escolha
sales-runtime-role
. - No LF-Tags ou recursos de catálogo seção, selecione Recursos de catálogo de dados nomeados e especifique o seguinte:
- Escolha Bases de dados, escolha
company
. - Escolha Tabelas, escolha
employees
.
- Escolha Bases de dados, escolha
- No Permissões de mesa seção, para Permissões de mesa, selecione Selecionar.
- No Permissões de dados seção, selecione Acesso baseado em colunas.
- Selecionar Incluir colunas e escolha o
uid
,name
edepartment
colunas. - Escolha Conceda.
Conceda permissão na tabela de produtos para sales-runtime-role
Conclua as seguintes etapas:
- Abra o console do Lake Formation com o administrador do data lake do Lake Formation na conta do consumidor de dados.
- No painel de navegação, escolha Bases de dados.
- Selecione o link do recurso (
company-shared
) e no Opções menu, escolha Conceder no alvo. - No Seção de princípios, selecione Usuários e funções IAM, Em seguida, escolha
sales-runtime-role
. - No LF-Tags ou recursos de catálogo seção, selecione Recursos de catálogo de dados nomeados e especifique o seguinte:
- Escolha Bases de dados, escolha
company
. - Escolha Tabelas, escolha
products
.
- Escolha Bases de dados, escolha
- No Permissões de mesa seção, para Permissões de mesa, selecione Selecionar e Descrever.
- No Permissões de dados seção, selecione Todos os acessos a dados.
- Escolha Conceda.
Faça login no EMR Studio e use o espaço de trabalho do EMR Studio
Mude seu papel para alice-role
or bob-role
no console usando diferentes navegadores da web para testar o acesso. Abra o EMRStudioLink
URL da saída da pilha do CloudFormation para fazer login no EMR Studio com cada função e, em seguida, conclua as etapas a seguir:
- Escolha Espaços de trabalho no painel de navegação e escolha Criar espaço de trabalho.
- Insira um nome e uma descrição para o espaço de trabalho.
- Escolha Criar espaço de trabalho.
Uma nova guia contendo o JupyterLab será aberta automaticamente quando o Workspace estiver pronto. Habilite pop-ups em seu navegador, se necessário.
- Escolheu o Computar ícone no painel de navegação para anexar o EMR Studio Workspace a um mecanismo de computação.
- Selecionar Cluster EMR no EC2 para Tipo de computação.
- Escolha o ID do cluster EMR que você criou com o AWS CloudFormation.
- Escolha Função de tempo de execução, escolha
sales-runtime-role
se estiver conectado comoalice-role
. Escolherhuman-resource-runtime-role
se estiver conectado comobob-role
. - Escolha Anexar.
Execute o código no EMR Studio Workspace e verifique o acesso aos dados
Execute o seguinte código no EMR Studio Workspace com um kernel PySpark após fazer login com alice-role ou bob-role:
Você deverá ver resultados diferentes ao usar funções diferentes.
De acordo com nossa configuração de acesso a dados no Lake Formation, Alice terá acesso total aos dados para o products
mesa. Ela pode visualizar todas as colunas, exceto salário, no employees
tabela.
Para Bob, de acordo com nossa configuração de acesso a dados no Lake Formation, ele terá acesso total aos dados do employees
mesa, mas ele não tem acesso ao products
tabela.
limpar
Quando terminar de experimentar esta solução, limpe seus recursos:
- Pare e exclua os espaços de trabalho do EMR Studio criados na conta da AWS do consumidor de dados.
- Exclua todo o conteúdo do bucket S3
EMRS3Bucket
na conta AWS do consumidor de dados. - Exclua a pilha do CloudFormation na conta da AWS do consumidor de dados.
- Exclua todo o conteúdo do bucket S3
DataLakeS3Bucket
na conta AWS do produtor de dados. - Exclua a pilha do CloudFormation na conta AWS do produtor de dados.
Conclusão
Esta postagem mostrou como você pode usar funções de tempo de execução para se conectar a um EMR Studio Workspace com Amazon EMR para aplicar controle de acesso a dados refinado entre contas com Lake Formation. Também demonstramos como vários usuários do EMR Studio podem se conectar ao mesmo cluster do EMR, cada um usando uma função de tempo de execução com escopo de permissões correspondentes ao seu nível individual de acesso aos dados.
Para saber mais sobre como usar o EMR Studio Workspaces com Lake Formation, consulte Execute um espaço de trabalho do EMR Studio com uma função de tempo de execução. Incentivamos você a experimentar esta nova funcionalidade e entrar em contato conosco se tiver alguma dúvida ou feedback!
Sobre os autores
Ashley Zhou é engenheiro de desenvolvimento de software na AWS. Ela está interessada em análise de dados e sistemas distribuídos.
Srividya Parthasarathy é arquiteto sênior de Big Data na equipe AWS Lake Formation. Ela gosta de criar soluções analíticas e de malha de dados na AWS e compartilhá-las com a comunidade.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/big-data/use-iam-runtime-roles-with-amazon-emr-studio-workspaces-and-aws-lake-formation-for-cross-account-fine-grained-access-control/
- :tem
- :é
- :não
- $UP
- 100
- 107
- 11
- 20
- 7
- 8
- a
- Capaz
- Sobre
- ACEITAR
- Acesso
- Acesso a dados
- acessadas
- acessível
- Segundo
- Conta
- Contas
- em
- Depois de
- alice
- Todos os Produtos
- permitir
- permitidas
- permite
- já
- tb
- Amazon
- Amazon EC2
- Amazon EMR
- Amazon Web Services
- an
- análise
- analítica
- e
- qualquer
- apache
- Apache Spark
- Aplicação
- aplicações
- Aplicar
- arquitetura
- SOMOS
- AS
- At
- anexar
- autorizar
- automaticamente
- AWS
- Formação da Nuvem AWS
- Cola AWS
- Formação AWS Lake
- BE
- Porque
- pertence
- entre
- Grande
- Big Data
- grão
- ambos
- navegador
- navegadores
- Prédio
- mas a
- by
- CAN
- capturar
- catálogo
- Categoria
- CD
- certificados
- alterar
- verificar
- escolha
- Escolha
- limpar
- Agrupar
- código
- colunas
- comunidade
- Empresa
- Empresa
- completar
- completando
- Computar
- Configuração
- Contato
- conecta
- Considerar
- consiste
- cônsul
- consumidor
- contém
- conteúdo
- ao controle
- crio
- criado
- Criar
- Credenciais
- Atual
- dados,
- acesso a dados
- análise de dados
- Análise de Dados
- lago data
- ciência de dados
- cientista de dados
- compartilhamento de dados
- banco de dados
- bases de dados
- Padrão
- definir
- demonstrar
- demonstraram
- Departamento
- implantar
- descreve
- descrição
- desenvolver
- Desenvolvimento
- diferenças
- diferente
- diretamente
- distribuído
- Sistemas distribuídos
- do
- Não faz
- não
- down
- cada
- Empregado
- colaboradores
- permitir
- permitindo
- encorajar
- criptografia
- aplicar
- Motor
- engenheiro
- Engenharia
- Engenheiros
- Motores
- Entrar
- empresas
- Meio Ambiente
- Éter (ETH)
- exemplo
- Exceto
- Explicação
- externo
- Envie o
- Arquivos
- filtro
- Primeiro nome
- seguinte
- segue
- Escolha
- treinamento
- da
- cheio
- totalmente
- funcionalidade
- dado
- Go
- governa
- conceder
- concedido
- Grupo
- tinha
- feliz
- Ter
- he
- ajuda
- Como funciona o dobrador de carta de canal
- Como Negociar
- HTML
- http
- HTTPS
- humano
- RECURSOS HUMANOS
- Recursos Humanos
- IAM
- ID
- Identidade
- if
- ilustra
- implementado
- in
- inclui
- Incluindo
- Individual
- INFORMAÇÕES
- Infraestrutura
- instância
- instruções
- integrado
- integração
- interessado
- introduzir
- convite
- IT
- Empregos
- jpg
- O rótulo
- lago
- lagos
- grande
- Grandes empresas
- lançamento
- APRENDER
- Nível
- LIMITE
- LINK
- Links
- local
- localização
- locais
- máquina
- fazer
- FAZ
- gerencia
- gerenciados
- de grupos
- gestão
- muitos
- correspondente
- mecanismo
- Menu
- malha
- poder
- mais
- mover
- múltiplo
- devo
- nome
- Nomeado
- Navegar
- Navegação
- necessário
- você merece...
- necessário
- Novo
- Próximo
- não
- caderno
- laptops
- agora
- objeto
- of
- frequentemente
- on
- só
- aberto
- operacional
- or
- Outros
- A Nossa
- Fora
- saída
- proprietário
- pão
- caminho
- pendente
- permissão
- permissões
- platão
- Inteligência de Dados Platão
- PlatãoData
- políticas
- Publique
- poder
- pré-requisitos
- anterior
- Diretor
- diretores
- princípio
- princípios
- produtor
- Produto
- Produtos
- Perfil
- Perfis
- fornecer
- fornecido
- fornece
- propósito
- Python
- consultas
- Frequentes
- R
- RAM
- Cru
- dados não tratados
- pronto
- reduzir
- referir
- região
- cadastre-se
- registrado
- registro
- liberar
- solicitar
- recurso
- Recursos
- resultar
- Resultados
- Tipo
- papéis
- Execute
- corrida
- salário
- vendas
- mesmo
- Scala
- Ciência
- Cientista
- cientistas
- escrita
- Seção
- seções
- Vejo
- selecionado
- senior
- separado
- servidor
- Serviços
- Sessão
- conjunto
- contexto
- Configurações
- instalação
- Partilhar
- compartilhado
- ações
- compartilhando
- ela
- rede de apoio social
- mostrou
- assinar
- assinado
- assinatura
- simples
- solteiro
- Software
- desenvolvimento de software
- vendido
- solução
- Soluções
- Fontes
- Faísca
- pilha
- Passo
- Passos
- armazenamento
- loja
- armazenadas
- lojas
- franco
- estudo
- apresentado
- tal
- supply
- suportes
- sistemas
- mesa
- TAG
- Profissionais
- modelo
- temporário
- teste
- que
- A
- deles
- Eles
- então
- assim sendo
- isto
- aqueles
- Através da
- linha do tempo
- para
- ferramentas
- trânsito
- tentar
- dois
- tipo
- tipicamente
- ui
- para
- subjacente
- Upload
- URL
- us
- usar
- usava
- Utilizador
- usuários
- usos
- utilização
- valor
- verificar
- versão
- via
- Ver
- visualizar
- andar
- we
- web
- Navegadores da Web
- serviços web
- foram
- quando
- qual
- inteiro
- precisarão
- de
- dentro
- trabalhar
- seria
- escrever
- escrito
- yaml
- Você
- investimentos
- zefirnet
- Zip