在这篇文章中,我们展示了如何使用 AWS 洁净室 实现公共卫生机构之间的数据协作。 公共卫生政府机构需要了解与人群的各种健康状况和护理相关的趋势,以便制定政策和治疗方法,以改善其所服务的各个社区的福祉。
为了做到这一点,这些机构需要分析来自许多来源的数据,例如临床组织、非临床社区组织以及其他政府机构的行政数据,以便他们能够确定人群健康状况和治疗的趋势。 公共卫生需要了解他们所服务的社区内的人群正在发生什么。
因为他们关注的是处于危险中的人群,所以他们需要灵活的病例列表,并且不包含个人身份信息 (PII)。 有了这些信息,他们可以根据数据源中提供的各种人口统计和社会因素评估风险,而无需泄露 PII。 该列表使他们能够灵活地对链接数据应用更复杂的分析,例如回归。 类似的程序 修正, MDPH网络及 CODI 多年来,我们一直在探索使用分布式网络中的临床数据来了解社区慢性病的负担。 这些计划面临的挑战包括跨数据提供商网络的复杂数据共享规则和分布式分析方法。 例如,MENDS 和 MDPHnet 在组织级别运行分析,无需跨站点重复数据删除。 单个查询被推送到每个站点,由人工处理和审查,并将组合输出发送到公共卫生机构。
AWS Clean Rooms 提供了一个机会,可以减轻此类计划中数据提供商的负担,同时使公共卫生机构能够使用自己的查询来分析数据,并通过阻止访问底层原始数据来降低数据隐私风险。
AWS 洁净室概述
AWS 洁净室 首次在 AWS re:Invent 2022 上宣布,现已全面上市。 AWS Clean Rooms 使客户及其合作伙伴能够更轻松、更安全地协作处理他们的集体数据集,而无需彼此共享或复制底层数据。 AWS Clean Rooms 提供了一组广泛的隐私增强控制措施,有助于保护敏感数据,包括查询控制、查询输出限制、查询日志记录和加密计算工具。
借助 AWS Clean Rooms,您可以与协作中的其他方协作和分析数据,而无需任何一方共享或复制原始数据。 AWS Clean Rooms 是一项无状态服务; 它不存储数据。 相反,它从数据所在的位置读取数据,应用限制以在查询运行时保护每个参与者的基础数据,然后返回结果。 可以编写查询来使用通用元数据元素(例如,地理位置、共享标识符或其他人口统计因素)来交叉和分析数据源,生成数据源之间重叠的行级列表或按人口、条件或人口统计的聚合计数。其他地层。
AWS Clean Rooms 帮助公共卫生机构分析集体数据,以更全面地了解其社区的健康和福祉,同时维护数据的安全性和隐私性。
解决方案概述
在开始使用 AWS Clean Rooms 之前,我们首先讨论一下该服务的一些关键概念:
- 合作 – 这是协作创建者在 AWS Clean Rooms 中创建的安全逻辑边界。 创建协作时,创建者可以邀请其他成员加入协作。 受邀参与者在接受加入协作邀请之前可以看到协作成员列表。
- 成员 – 这是指参与协作的 AWS 客户。 所有协作成员都可以加入数据; 但是,每次协作只有一个成员可以查询和接收结果,并且该成员是不可变的。
- 分析规则 – AWS Clean Rooms 支持两种类型的分析规则:
- 聚合 – 成员可以运行查询,使用 COUNT、SUM 或 AVG 函数沿可选维度聚合统计信息。 聚合查询不会显示行级数据。
- 清单 – 成员可以运行查询来输出两个表之间重叠的行级数据。
- 配置表 – 成员可以配置现有的 AWS胶水 用于 AWS Clean Rooms 的表。 该数据存储在 亚马逊简单存储服务 (Amazon S3) 采用开放数据格式并在 AWS Glue 数据目录中编目。 每个配置的表都包含一个分析规则,用于确定如何查询数据。 配置完成后,成员可以将配置的表与一个或多个协作关联。
开始使用 AWS Clean Rooms 的过程分为四个步骤:
- 创建者配置协作并邀请一名或多名成员加入协作。
- 受邀成员加入协作。
- 成员可以配置现有 AWS Glue 表以在 AWS Clean Rooms 中使用。
- 有权执行此操作的成员可以在协作中运行查询。
先决条件
对于本演练,您需要以下内容:
创建协作并邀请一名或多名成员
您必须通过以下方式在 AWS Clean Rooms 控制台上定义协作配置: AWS命令行界面 (AWS CLI),或使用 AWS 开发工具包。 我们演示如何在控制台上配置它。
- 在 AWS Clean Rooms 控制台上,选择 创造协作。
- 针对 名称,输入名称(例如,演示协作)。
- 针对 课程描述,添加可选说明。
- 在 成员 部分,添加以下成员:
- 成员1 – 输入成员显示名称(您的 AWS 账户 ID 会自动填充)。
- 成员2 – 输入您要邀请的成员的成员显示名称和 AWS 账户 ID。
- 添加另一个成员 添加更多成员。
- 在 会员能力 部分,选择一名将查询和接收结果的成员。
- 在 查询日志记录 部分,选择 支持此协作的查询日志记录 记录查询 亚马逊CloudWatch 日志。
- 下一页.
- 在 合作会员 部分,选择您喜欢的 CloudWatch 存储选项。
- 下一页.
- 点击 查看并创建 页面,选择 建立协作和会员资格 检查详细信息以确保准确性后。
恭喜您建立了第一次合作! 您可以在以下页面查看合作详情 合作 页面上发布服务提醒。
加入协作
每个协作成员都可以登录 AWS Clean Rooms 控制台,查看邀请,并按照以下步骤决定加入协作:
- 在 AWS Clean Rooms 控制台上,选择 合作 在导航窗格中。
- 点击 可以加入 选项卡,选择您受邀参加的协作。
在详情页面,您可以查看会员的能力。
- 选择您首选的日志存储选项并选择 创建会员资格.
- 在确认页面上,验证列出的成员是否符合您的数据共享协议,然后选择 创建会员资格.
创建会员资格后,您的会员状态将更改为 现有的 在协作仪表板上。
配置现有 AWS Glue 表以在 AWS Clean Rooms 中使用
AWS Clean Rooms 不需要您复制数据,因为它从 Amazon S3 读取数据。 这样就无需将数据复制并加载到各自 AWS 账户之外的目的地,或使用第三方服务来促进数据共享。
每个协作成员都可以创建配置表,这是一种 AWS Clean Rooms 资源,其中包含对 AWS Glue 数据目录的引用以及定义如何使用该数据的底层数据。 配置的表可以在许多协作中使用。
- 在 AWS Clean Rooms 控制台上,选择 配置表 在导航窗格中。
- 配置新表.
- 选择用于填充 AWS Glue 表列表的数据库,然后选择要与协作关联的表。
对于每个选定的表,您可以确定可以在协作中访问哪些列。
- 选择 所有栏目 或选择 自订清单 选择在协作中可用的列子集。
- 输入已配置表的名称。
- 配置新表.
除了列级访问控制之外,AWS Clean Rooms 还提供称为分析规则的细粒度查询控制。 借助内置的灵活分析规则,您可以根据特定的业务需求定制查询。 如前所述,AWS Clean Rooms 提供两种类型的分析规则:
- 聚合分析规则 – 这些允许查询聚合数据而不泄露行级信息。 可用函数包括 COUNT、SUM 和 AVG 以及可选维度。
- 列表分析规则 – 这些允许查询输出协作空间中表之间重叠的行级属性分析。
这两种规则类型都允许数据所有者强制在其数据集与运行查询的协作者的数据集之间进行联接。 这将结果限制为协作者数据集的交集。
- 在配置的表上,选择 配置分析规则 配置分析规则。
- 对于这篇文章,我们选择 清单 因为我们希望通过结合其他贡献者的免疫数据来查询患者的免疫状态。
- 选择创建方式并选择 下一页.
- 要定义表连接的条件,请在 加入控件 部分,选择适合连接的列名称。
- 要指定将输出哪些列,请在 列表控件 部分。
- 下一页.
- 配置分析规则 在 检查并配置 页面上发布服务提醒。
您将看到该消息 列表分析规则配置成功 在配置的表页面上。
- 关联到协作 将此表链接到您创建的协作。
- 查看有关的详细信息 关联表 页面并选择 关联表.
协作页面将显示您与协作关联的表的列表。
协作的每个成员都必须重复上述步骤,将其 AWS Glue 数据目录表关联到协作。 对于本文,协作的其他成员遵循相同的步骤将其数据关联到协作。 然后协作将列出其他成员关联的所有表。
在配置的表上定义分析规则并将其关联到协作后,可以查询和接收结果的成员可以根据每个参与协作成员定义的限制开始编写查询。 以下部分包括示例协作查询。
在协作中运行查询
以下屏幕截图是由于不支持 * 而不会成功的查询示例。 必须在查询中指定列名。
以下屏幕截图是一个不会成功的查询示例,因为您无法链接在联接中受限制的成员的列。
以下屏幕截图是一个查询示例,该查询将成功,因为它在 select 子句和联接条件中使用了允许的列(属于列表分析规则的一部分)。
本文中使用的示例数据集(患者和免疫)包含唯一标识符(患者 ID)。 然而,在现实场景中,情况可能并非如此。 在这些情况下,您可以考虑使用隐私保护记录链接 (PPRL) 来创建唯一的去识别化令牌。 例如,CDC 的 CODI 程序通过以标准化方式混淆每个组织防火墙后面的 PII,跨数据所有者进行重复数据删除。 这些混淆的信息被结合起来,为每个人创建一个独特的去识别化令牌,并在跨数据源进行分析。 如果公共卫生机构想要根据单独链接的纵向数据进行分析,他们可以将 PPRL 应用于每个数据源,并在进行分析之前使用该元数据元素链接 AWS Clean Rooms 中的数据源。
清理
作为本演练的一部分,您配置了 AWS Clean Rooms 协作、邀请其他成员加入协作并配置了表。 要删除这些资源,请参阅 离开合作 和 解除配置表的关联.
结论
在本文中,我们向您展示了如何创建协作、邀请其他成员加入协作、配置现有 AWS Glue Catalog 表、应用分析规则以及在 AWS Clean Rooms 控制台上运行示例查询。 在本系列的第 2 部分中,我们演示了如何使用自动化查询运行 AWS Lambda,使用查询结果 亚马逊雅典娜,并使用发布仪表板 亚马逊QuickSight.
作者简介
文卡塔坎帕纳 是 AWS Health and Human Services 团队的高级解决方案架构师,常驻加利福尼亚州萨克拉门托。 在担任该职位期间,他通过 AWS 上架构完善的解决方案帮助公共部门客户实现其使命目标。
Dawn Heisey-Grove 博士 是亚马逊网络服务的州和地方政府团队的公共卫生分析负责人。 在这个职位上,她负责帮助州和地方公共卫生机构创造性地思考如何实现他们的分析挑战和长期目标。 她的职业生涯一直在寻找利用现有或新数据支持公共卫生监测和研究的新方法。
吉姆·丹尼尔(Jim Daniel) 是 Amazon Web Services 的公共卫生主管。 此前,他曾在美国卫生与公众服务部担任职务近十年,包括公共卫生创新总监和公共卫生协调员。 在担任政府职务之前,吉姆曾担任马萨诸塞州公共卫生部的首席信息官。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- EVM财务。 去中心化金融的统一接口。 访问这里。
- 量子传媒集团。 IR/PR 放大。 访问这里。
- 柏拉图爱流。 Web3 数据智能。 知识放大。 访问这里。
- Sumber: https://aws.amazon.com/blogs/big-data/part-1-enable-data-collaboration-among-public-health-agencies-with-aws-clean-rooms/
- :是
- :不是
- :在哪里
- 1
- 100
- 12
- 195
- 2022
- 7
- a
- 能力
- 关于
- 接受
- ACCESS
- 访问
- 根据
- 账号管理
- 横过
- 加
- 增加
- 额外
- 行政
- 后
- 机构
- 机构
- 聚合
- 协议
- 对齐
- 所有类型
- 让
- 允许
- 沿
- Amazon
- 亚马逊网络服务
- 其中
- an
- 分析
- 分析
- 分析
- 分析
- 和
- 公布
- 另一个
- 使用
- 方法
- 适当
- 保健
- 围绕
- AS
- 评估
- 律师
- 相关
- At
- 自动化
- 自动
- 可使用
- AVG
- AWS
- AWS胶水
- AWS re:Invent
- 基于
- BE
- 因为
- before
- 背后
- 之间
- 广阔
- 内建的
- 负担
- 商业
- by
- CA
- 被称为
- CAN
- 关心
- 寻找工作
- 案件
- 例
- 检索目录
- 疾病预防控制中心
- 挑战
- 变
- 首席
- 临床资料
- 合作
- 合作
- 合作
- 集体
- 柱
- 列
- 结合
- 相当常见
- 地区
- 社体的一部分
- 完成
- 复杂
- 计算
- 概念
- 流程条件
- 条件
- 进行
- 开展
- 配置
- 配置
- 确认
- 考虑
- 安慰
- 包含
- 贡献者
- 控制
- 协调员
- 仿形
- 可以
- 创建信息图
- 创建
- 创造
- 创建
- 创造性地
- 创造者
- 标准
- 加密
- 合作伙伴
- XNUMX月XNUMX日
- 仪表板
- data
- 数据隐私
- 数据共享
- 数据库
- 数据集
- 十
- 决定
- 定义
- 定义
- 定义
- 演示
- 人口统计学
- 演示
- 问题类型
- 描述
- 旅游目的地
- 详情
- 确定
- 确定
- 尺寸
- 副总经理
- 讨论
- 疾病
- 屏 显:
- 分布
- do
- 不会
- 每
- 此前
- 容易
- 或
- element
- 分子
- 消除
- enable
- 使
- 确保
- 输入
- 醚(ETH)
- 例子
- 现有
- 探讨
- 促进
- 面对
- 因素
- 寻找
- 火墙
- (名字)
- 高度灵活
- 柔软
- 遵循
- 以下
- 针对
- 止
- 功能
- Gain增益
- 通常
- 发电
- 地理
- 得到
- 给
- 目标
- 理想中
- 政府
- 政府
- 政府机构
- 事件
- 有
- he
- 健康管理
- 保持
- 帮助
- 帮助
- 帮助
- 这里
- 他的
- 创新中心
- How To
- 但是
- HTML
- HTTP
- HTTPS
- 人
- 人类
- ID
- 识别码
- 身份标识
- 鉴定
- if
- 一成不变
- 改善
- in
- 包括
- 包括
- 包含
- 个人
- 个别地
- 信息
- 創新
- 代替
- 路口
- 成
- 请帖
- 邀请
- 邀请
- 邀请
- IT
- 吉姆
- 加入
- 加盟
- 加盟
- 加入
- JPG
- 只是
- 键
- 铅
- 领导者
- Level
- 喜欢
- 范围
- Line
- 友情链接
- 链接
- 清单
- 已发布
- 书单
- 生活
- 加载
- 本地
- 地方政府
- 日志
- 记录
- 合乎逻辑的
- 长期
- 寻找
- 维持
- 使
- 要求
- 许多
- 美国马萨诸塞州
- 可能..
- 会员
- 成员
- 籍
- 的话
- 元数据
- 方法
- 可能
- 使命
- 减轻
- 更多
- 必须
- 姓名
- 名称
- 旅游导航
- 几乎
- 需求
- 需要
- 网络
- 全新
- 现在
- 目标
- of
- 优惠精选
- 官
- on
- 一
- 仅由
- 打开
- 开放的数据
- ZAP优势
- 附加选项
- or
- 秩序
- 组织
- 组织
- 其他名称
- 产量
- 学校以外
- 己
- 业主
- 页
- 面包
- 部分
- 与会者
- 参与
- 各方
- 伙伴
- 党
- 病人
- 允许
- 亲自
- ii
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 政策
- 人口稠密
- 人口
- 人群
- 职位
- 帖子
- 比较喜欢
- 首选
- 预防
- 先前
- 隐私
- 过程
- 处理
- 曲目
- 训练课程
- 保护
- 供应商
- 提供
- 国家
- 公众健康
- 发布
- 查询
- 原
- 原始数据
- RE
- 真实的世界
- 接收
- 记录
- 减少
- 指
- 回归
- 有关
- 重复
- 要求
- 研究
- 资源
- 资源
- 那些
- 提供品牌战略规划
- 受限
- 限制
- 成果
- 回报
- 揭示
- 揭示
- 检讨
- 审查
- 回顾
- 风险
- 风险
- 角色
- 房间数
- 第
- 定位、竞价/采购和分析/优化数字媒体采购,但算法只不过是解决问题的操作和规则。
- 运行
- 运行
- 萨克拉门托
- 同
- 脚本
- SDK
- 部分
- 扇形
- 安全
- 安全
- 保安
- 看到
- 选
- 前辈
- 敏感
- 发送
- 系列
- 服务
- 服务
- 特色服务
- 集
- Share
- 共用的,
- 共享
- 显示
- 显示
- 简易
- 网站
- 网站
- 情况
- So
- 社会
- 解决方案
- 一些
- 来源
- 来源
- 太空
- 具体的
- 指定
- 花费
- 开始
- 开始
- 州/领地
- 州
- 统计
- Status
- 步骤
- 存储
- 商店
- 储存资料
- 存储
- 成功
- 这样
- SUPPORT
- 支持
- 支持
- 监控
- 表
- 谈论
- 团队
- 这
- 其
- 他们
- 然后
- 博曼
- 他们
- 认为
- 第三方
- Free Introduction
- 那些
- 至
- 象征
- 工具
- 治疗
- 趋势
- 二
- 类型
- 相关
- 理解
- 独特
- 联合的
- 美国
- 使用
- 用过的
- 使用
- 运用
- 各种
- 各个
- 确认
- 通过
- 查看
- 演练
- 想
- 是
- 方法..
- 方法
- we
- 卷筒纸
- Web服务
- 井
- 为
- 什么是
- 什么是
- ,尤其是
- 这
- 而
- WHO
- 将
- 中
- 也完全不需要
- 写作
- 书面
- 年
- 您
- 您一站式解决方案
- 和风网