Nesta postagem, mostramos como você pode usar Salas limpas da AWS para permitir a colaboração de dados entre agências de saúde pública. As agências governamentais de saúde pública precisam entender as tendências relacionadas a uma variedade de condições de saúde e cuidados entre as populações, a fim de criar políticas e tratamentos com o objetivo de melhorar o bem-estar das várias comunidades que atendem.
Para fazer isso, essas agências precisam analisar dados de várias fontes, como organizações clínicas, organizações comunitárias não clínicas e dados administrativos de outras agências governamentais, para que possam identificar tendências em torno de condições de saúde e tratamentos nas populações. A saúde pública precisa entender o que está acontecendo com as populações dentro das comunidades que atendem.
Como estão analisando populações em risco, eles precisam da flexibilidade de uma lista linear de casos, sem informações de identificação pessoal (PII). Com essas informações, eles podem avaliar o risco com base em uma variedade de fatores demográficos e sociais disponíveis nas fontes de dados sem divulgar PII. A lista oferece flexibilidade para aplicar análises mais complexas, como regressão, também nos dados vinculados. Programas como MENDAS, MDPHnet e CÓDIGOS exploraram o uso de dados clínicos em redes distribuídas para entender a carga de doenças crônicas nas comunidades por anos. Os desafios enfrentados por esses programas incluem regras complexas de compartilhamento de dados e abordagens de análise distribuída em redes de provedores de dados. O MENDS e o MDPHnet, por exemplo, executam análises no nível da organização sem desduplicar entre sites. Consultas individuais são enviadas para cada site onde são processadas e revisadas por humanos, e a saída combinada é enviada para a agência de saúde pública.
O AWS Clean Rooms oferece uma oportunidade de reduzir a carga sobre os provedores de dados em programas como esses, ao mesmo tempo em que permite que as agências de saúde pública analisem os dados usando suas próprias consultas e mitiguem os riscos à privacidade dos dados impedindo o acesso aos dados brutos subjacentes.
Visão geral das salas limpas da AWS
Salas limpas da AWS foi anunciado pela primeira vez no AWS re:Invent 2022 e agora está disponível para todos. O AWS Clean Rooms permite que os clientes e seus parceiros colaborem com mais facilidade e segurança em seus conjuntos de dados coletivos, sem compartilhar ou copiar os dados subjacentes uns com os outros. O AWS Clean Rooms fornece um amplo conjunto de controles de aprimoramento de privacidade que ajudam a proteger dados confidenciais, incluindo controles de consulta, restrições de saída de consulta, registro de consulta e ferramentas de computação criptográfica.
Com o AWS Clean Rooms, você pode colaborar e analisar dados com outras partes na colaboração sem que nenhuma das partes precise compartilhar ou copiar os dados brutos. O AWS Clean Rooms é um serviço sem estado; ele não armazena os dados. Em vez disso, ele lê os dados de onde reside, aplica restrições que protegem os dados subjacentes de cada participante no tempo de execução da consulta e retorna os resultados. As consultas podem ser escritas para cruzar e analisar fontes de dados usando elementos de metadados comuns (por exemplo, geografia, identificadores compartilhados ou outros fatores demográficos), gerando listas em nível de linha da sobreposição entre as fontes de dados ou contagens agregadas por população, condição ou outros estratos.
O AWS Clean Rooms ajuda as agências de saúde pública a analisar dados coletivos para obter uma visão mais completa da saúde e do bem-estar de suas comunidades, mantendo a segurança e a privacidade dos dados.
Visão geral da solução
Antes de começarmos com o AWS Clean Rooms, vamos primeiro falar sobre alguns dos principais conceitos do serviço:
- Colaborações – Este é um limite lógico seguro em AWS Clean Rooms criado pelo criador da colaboração. Ao criar a colaboração, o criador pode convidar membros adicionais para participar da colaboração. Os participantes convidados podem ver a lista de membros da colaboração antes de aceitarem o convite para ingressar na colaboração.
- Membros – Refere-se a clientes da AWS que são participantes de uma colaboração. Todos os membros da colaboração podem juntar dados; no entanto, apenas um membro pode consultar e receber resultados por colaboração e esse membro é imutável.
- Regras de análise – AWS Clean Rooms oferece suporte a dois tipos de regras de análise:
- Agregação – Os membros podem executar consultas que agregam estatísticas usando as funções COUNT, SUM ou AVG em dimensões opcionais. As consultas de agregação não revelarão dados no nível da linha.
- Lista – Os membros podem executar consultas que produzem dados em nível de linha da sobreposição entre duas tabelas.
- Tabelas configuradas - Os membros podem configurar existentes Cola AWS tabelas para uso em salas limpas da AWS. Esses dados são armazenados em Serviço de armazenamento simples da Amazon (Amazon S3) em formatos de dados abertos e catalogados no AWS Glue Data Catalog. Cada tabela configurada contém uma regra de análise que determina como os dados podem ser consultados. Depois de configurada, os membros podem associar a tabela configurada a uma ou mais colaborações.
A introdução ao AWS Clean Rooms é um processo de quatro etapas:
- O criador configura uma colaboração e convida um ou mais membros para a colaboração.
- O membro convidado ingressa na colaboração.
- Os membros podem configurar as tabelas existentes do AWS Glue para uso em salas limpas da AWS.
- Os membros com permissão para fazer isso podem executar consultas na colaboração.
Pré-requisitos
Para este passo a passo, você precisa do seguinte:
Crie uma colaboração e convide um ou mais membros
Você deve definir sua configuração de colaboração no console AWS Clean Rooms, por meio do Interface de linha de comando da AWS (AWS CLI) ou com um AWS SDK. Demonstramos como configurar isso no console.
- No console do AWS Clean Rooms, escolha Crie colaboração.
- Escolha Nome, insira um nome (por exemplo, Colaboração de demonstração).
- Escolha Descrição, adicione uma descrição opcional.
- No Membros seção, adicione os seguintes membros:
- Membro 1 – Insira um nome de exibição de membro (seu ID de conta da AWS é preenchido automaticamente).
- Membro 2 – Insira um nome de exibição do membro e o ID da conta da AWS para o membro que você deseja convidar.
- Escolha Adicionar outro membro para adicionar mais membros.
- No Habilidades dos membros seção, escolha um membro que consultará e receberá os resultados.
- No Registro de consulta seção, selecione Compatível com o registro de consulta para esta colaboração para registrar as consultas Amazon CloudWatch Histórico.
- Escolha Próximo.
- No Associação de colaboração seção, selecione a opção de armazenamento de sua preferência para o CloudWatch.
- Escolha Próximo.
- No Revise e crie página, escolha Criar colaboração e associação depois de revisar os detalhes para garantir a precisão.
Parabéns por criar sua primeira colaboração! Você pode ver os detalhes da colaboração no Colaborações Disputas de Comerciais.
Participe da colaboração
Cada membro da colaboração pode fazer login no console do AWS Clean Rooms, revisar o convite e decidir ingressar na colaboração seguindo estas etapas:
- No console do AWS Clean Rooms, escolha Colaborações no painel de navegação.
- No Disponível para participar guia, escolha a colaboração para a qual você foi convidado.
Na página de detalhes, você pode revisar as habilidades do membro.
- Selecione sua opção de armazenamento de log preferida e escolha Criar associação.
- Na página de confirmação, verifique se os membros listados estão de acordo com seus contratos de compartilhamento de dados e escolha Criar associação.
Depois de criar sua associação, seu status de membro é alterado para Ativo no painel de colaboração.
Configurar tabelas existentes do AWS Glue para uso em salas limpas da AWS
O AWS Clean Rooms não exige que você faça uma cópia dos dados porque ele lê os dados do Amazon S3. Isso elimina a necessidade de copiar e carregar seus dados em destinos fora de sua respectiva conta da AWS ou usar serviços de terceiros para facilitar o compartilhamento de dados.
Cada membro da colaboração pode criar tabelas configuradas, um recurso de salas limpas da AWS que contém referência ao Catálogo de dados do AWS Glue com dados subjacentes que definem como esses dados podem ser usados. A tabela configurada pode ser usada em muitas colaborações.
- No console do AWS Clean Rooms, escolha Tabelas configuradas no painel de navegação.
- Escolha Configurar nova tabela.
- Escolha o banco de dados para preencher a lista de tabelas do AWS Glue e escolha a tabela que deseja associar à colaboração.
Para cada tabela selecionada, você pode determinar quais colunas podem ser acessadas na colaboração.
- Selecionar Todas as colunas ou selecione Lista personalizada para escolher um subconjunto de colunas para estar disponível na colaboração.
- Digite um nome para a tabela configurada.
- Escolha Configurar nova tabela.
Além dos controles de acesso em nível de coluna, o AWS Clean Rooms fornece controles de consulta refinados chamados regras de análise. Com regras de análise integradas e flexíveis, você pode adaptar as consultas às necessidades de negócios específicas. Conforme discutido anteriormente, o AWS Clean Rooms fornece dois tipos de regras de análise:
- Regras de análise de agregação – Permitem consultas que agregam dados sem revelar informações em nível de linha. As funções disponíveis incluem COUNT, SUM e AVG, além de dimensões opcionais.
- Listar regras de análise – Permitem consultas que geram análises de atributo em nível de linha da sobreposição entre as tabelas no espaço de colaboração.
Ambos os tipos de regra permitem que os proprietários de dados determinem uma junção entre seus conjuntos de dados e os conjuntos de dados do colaborador que está executando a consulta. Isso limita os resultados apenas à interseção dos conjuntos de dados dos colaboradores.
- Na tabela configurada, escolha Configurar regra de análise para configurar as regras de análise.
- Para esta postagem, selecionamos Lista porque queremos consultar o status de imunização dos pacientes juntando dados de imunização de outros colaboradores.
- Selecione o método de criação e selecione Próximo.
- Para definir os critérios para as junções de tabelas, no Controles de junção seção, escolha os nomes de coluna apropriados para a junção.
- Para especificar quais colunas serão geradas, identifique-as no Controles de lista seção.
- Escolha Próximo.
- Escolha Configurar regra de análise na Revise e configure Disputas de Comerciais.
Você verá a mensagem Regra de análise de lista configurada com sucesso na página de tabelas configuradas.
- Escolha Associar à colaboração para vincular esta tabela à colaboração que você criou.
- Reveja os detalhes no tabela associada página e escolha tabela associada.
A página de colaboração exibirá uma lista de tabelas associadas por você à colaboração.
Cada membro da colaboração deve repetir as etapas mencionadas para associar suas tabelas do Catálogo de dados do AWS Glue à colaboração. Para esta postagem, os outros membros da colaboração seguem as mesmas etapas para associar seus dados à colaboração. Em seguida, a colaboração listará todas as tabelas associadas por outros membros.
Após definir as regras de análise nas tabelas configuradas e associá-las à colaboração, os membros que podem consultar e receber resultados podem começar a escrever consultas de acordo com as restrições definidas por cada membro participante da colaboração. A seção a seguir inclui exemplos de consultas de colaboração.
Executar consultas na colaboração
A captura de tela a seguir é um exemplo de uma consulta que não será bem-sucedida porque * não é suportado. Os nomes das colunas devem ser especificados na consulta.
A captura de tela a seguir é um exemplo de uma consulta que não será bem-sucedida porque você não pode vincular colunas restritas a membros em suas uniões.
A captura de tela a seguir é um exemplo de uma consulta que será bem-sucedida porque usa colunas permitidas (colunas que fazem parte da regra de análise de lista) na cláusula select e na condição de junção.
Os conjuntos de dados de amostra (paciente e imunização) usados nesta postagem incluem um identificador exclusivo (ID do paciente). No entanto, em um cenário do mundo real, isso pode não ser o caso. Nessas situações, você pode considerar o uso de vínculo de registro de preservação de privacidade (PPRL) para criar um token desidentificado exclusivo. Por exemplo, o programa CODI do CDC desduplica entre os proprietários de dados ofuscando PII por trás do firewall de cada organização de maneira padronizada. Essas informações ofuscadas são unidas para criar um token desidentificado exclusivo para cada indivíduo que é analisado nas fontes de dados. Se as agências de saúde pública quiserem realizar análises com base em dados longitudinais vinculados individualmente, elas poderão aplicar PPRL a cada fonte de dados e usar esse elemento de metadados para vincular as fontes de dados em AWS Clean Rooms antes de realizar suas análises.
limpar
Como parte desta demonstração, você provisionou uma colaboração de salas limpas da AWS, convidou outros membros para participar da colaboração e configurou tabelas. Para excluir esses recursos, consulte Saindo da colaboração e Desassociando tabelas configuradas.
Conclusão
Nesta postagem, mostramos como criar uma colaboração, convidar outros membros para a colaboração, configurar tabelas existentes do Catálogo do AWS Glue, aplicar regras de análise e executar consultas de amostra no console do AWS Clean Rooms. Na Parte 2 desta série, demonstramos como automatizar execuções de consulta usando AWS Lambda, consulte os resultados usando Amazona atenae publicar painéis usando AmazonQuickSight.
Sobre os autores
Venkata Campana é um arquiteto de soluções sênior na equipe de serviços humanos e de saúde da AWS e mora em Sacramento, CA. Nessa função, ele ajuda os clientes do setor público a atingir seus objetivos de missão com soluções bem arquitetadas na AWS.
Dra. Dawn Heisey-Grove é o líder de análise de saúde pública da equipe de governo estadual e local da Amazon Web Services. Nessa função, ela é responsável por ajudar agências de saúde pública estaduais e locais a pensar de forma criativa sobre como atingir seus desafios de análise e metas de longo prazo. Ela passou sua carreira encontrando novas maneiras de usar dados novos ou existentes para apoiar a vigilância e a pesquisa em saúde pública.
Daniel Daniel é o líder de Saúde Pública da Amazon Web Services. Anteriormente, ele ocupou cargos no Departamento de Saúde e Serviços Humanos dos Estados Unidos por quase uma década, incluindo Diretor de Inovação em Saúde Pública e Coordenador de Saúde Pública. Antes de seu serviço governamental, Jim atuou como CIO do Departamento de Saúde Pública de Massachusetts.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- EVM Finanças. Interface unificada para finanças descentralizadas. Acesse aqui.
- Grupo de Mídia Quântica. IR/PR Amplificado. Acesse aqui.
- PlatoAiStream. Inteligência de Dados Web3. Conhecimento Amplificado. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/big-data/part-1-enable-data-collaboration-among-public-health-agencies-with-aws-clean-rooms/
- :é
- :não
- :onde
- 1
- 100
- 12
- 195
- 2022
- 7
- a
- habilidades
- Sobre
- ACEITAR
- Acesso
- acessadas
- Segundo
- Conta
- precisão
- Alcançar
- em
- adicionar
- Adição
- Adicional
- administrativo
- Depois de
- agências
- agência
- agregação
- acordos
- alinhar
- Todos os Produtos
- permitir
- permite
- juntamente
- Amazon
- Amazon Web Services
- entre
- an
- análise
- analítica
- analisar
- analisado
- e
- anunciou
- Outro
- Aplicar
- se aproxima
- apropriado
- SOMOS
- por aí
- AS
- avaliar
- Jurídico
- associado
- At
- automatizar
- automaticamente
- disponível
- AVG
- AWS
- Cola AWS
- AWS re: Invent
- baseado
- BE
- Porque
- antes
- atrás
- entre
- amplo
- construídas em
- carga
- negócio
- by
- CA
- chamado
- CAN
- Cuidado
- Oportunidades
- casas
- casos
- catálogo
- CDC
- desafios
- mudado
- chefe
- Escolha
- Clínico
- colaborar
- colaboração
- colaborações
- Collective
- Coluna
- colunas
- combinado
- comum
- Comunidades
- comunidade
- completar
- integrações
- computação
- conceitos
- condição
- condições
- Conduzir
- condutor
- Configuração
- configurado
- confirmação
- Considerar
- cônsul
- contém
- contribuintes
- controles
- Coordenador
- copiando
- poderia
- crio
- criado
- Criar
- criação
- Criativamente
- criador
- critérios
- criptografia
- Clientes
- painel de instrumentos
- painéis
- dados,
- privacidade de dados
- compartilhamento de dados
- banco de dados
- conjuntos de dados
- década
- decidir
- definido
- Define
- definição
- Demo
- demográfico
- demonstrar
- Departamento
- descrição
- destinos
- detalhes
- Determinar
- determina
- dimensões
- Diretor
- discutido
- doenças
- Ecrã
- distribuído
- do
- Não faz
- cada
- Mais cedo
- facilmente
- ou
- elemento
- elementos
- elimina
- permitir
- permitindo
- garantir
- Entrar
- Éter (ETH)
- exemplo
- existente
- Explorado
- facilitar
- enfrentando
- fatores
- descoberta
- firewall
- Primeiro nome
- Flexibilidade
- flexível
- seguir
- seguinte
- Escolha
- da
- funções
- Ganho
- geralmente
- gerando
- geografia
- ter
- dá
- meta
- Objetivos
- Governo
- governamental
- agências governamentais
- Acontecimento
- ter
- he
- Saúde
- Herói
- ajudar
- ajuda
- ajuda
- sua experiência
- sua
- Como funciona o dobrador de carta de canal
- Como Negociar
- Contudo
- HTML
- http
- HTTPS
- humano
- Humanos
- ID
- identificador
- Identificadores
- identificar
- if
- imutável
- melhorar
- in
- incluir
- inclui
- Incluindo
- Individual
- Individualmente
- INFORMAÇÕES
- Inovação
- em vez disso
- interseção
- para dentro
- convite
- convidar
- convidado
- convida
- IT
- Jim
- juntar
- ingressou
- juntando
- Junta
- jpg
- apenas por
- Chave
- conduzir
- líder
- Nível
- como
- limites
- Line
- LINK
- ligado
- Lista
- Listado
- listas
- Vidas
- carregar
- local
- Governo local
- log
- logging
- lógico
- longo prazo
- procurando
- manutenção
- fazer
- Mandato
- muitos
- massachusetts
- Posso..
- membro
- Membros
- Filiação
- mensagem
- metadados
- método
- poder
- Missão
- Mitigar
- mais
- devo
- nome
- nomes
- Navegação
- quase
- você merece...
- Cria
- redes
- Novo
- agora
- objetivos
- of
- Oferece
- Oficial
- on
- ONE
- só
- aberto
- dados abertos
- Oportunidade
- Opção
- or
- ordem
- organização
- organizações
- Outros
- saída
- lado de fora
- próprio
- proprietários
- página
- pão
- parte
- participantes
- participando
- partes
- Parceiros
- festa
- paciente
- permissão
- Pessoalmente
- Pii
- platão
- Inteligência de Dados Platão
- PlatãoData
- políticas
- populosa
- população
- populações
- abertas
- Publique
- preferir
- preferido
- impedindo
- anteriormente
- política de privacidade
- processo
- processado
- Agenda
- Programas
- proteger
- fornecedores
- fornece
- público
- saúde pública
- publicar
- empurrado
- consultas
- Cru
- dados não tratados
- RE
- mundo real
- receber
- registro
- reduzir
- refere-se
- regressão
- relacionado
- repetir
- requerer
- pesquisa
- recurso
- Recursos
- aqueles
- responsável
- restringido
- restrições
- Resultados
- Retorna
- revelar
- revelando
- rever
- Comentários
- revendo
- Risco
- riscos
- Tipo
- Quartos
- Regra
- regras
- Execute
- corrida
- Sacramento
- mesmo
- cenário
- Sdk
- Seção
- setor
- seguro
- firmemente
- segurança
- Vejo
- selecionado
- senior
- sensível
- enviei
- Série
- servir
- serviço
- Serviços
- conjunto
- Partilhar
- compartilhado
- compartilhando
- mostrar
- mostrou
- simples
- local
- Locais
- situações
- So
- Redes Sociais
- Soluções
- alguns
- fonte
- Fontes
- Espaço
- específico
- especificada
- gasto
- começo
- começado
- Estado
- Unidos
- estatística
- Status
- Passos
- armazenamento
- loja
- Armazene os dados
- armazenadas
- bem sucedido
- tal
- ajuda
- Suportado
- suportes
- vigilância
- mesa
- Converse
- Profissionais
- que
- A
- deles
- Eles
- então
- Este
- deles
- think
- De terceiros
- isto
- aqueles
- para
- token
- ferramentas
- tratamentos
- Tendências
- dois
- tipos
- subjacente
- compreender
- único
- Unido
- Estados Unidos
- usar
- usava
- usos
- utilização
- variedade
- vário
- verificar
- via
- Ver
- Passo a passo
- queremos
- foi
- Caminho..
- maneiras
- we
- web
- serviços web
- BEM
- foram
- O Quê
- O que é a
- quando
- qual
- enquanto
- QUEM
- precisarão
- de
- dentro
- sem
- escrita
- escrito
- anos
- Você
- investimentos
- zefirnet