В этом посте мы покажем, как вы можете использовать Чистые помещения AWS для обеспечения совместной работы с данными между учреждениями общественного здравоохранения. Государственным учреждениям общественного здравоохранения необходимо понимать тенденции, связанные с различными состояниями здоровья и уходом среди населения, чтобы разрабатывать политику и методы лечения с целью улучшения благосостояния различных сообществ, которые они обслуживают.
Для этого этим агентствам необходимо анализировать данные из многих источников, таких как клинические организации, неклинические общественные организации и административные данные из других государственных учреждений, чтобы они могли выявлять тенденции в отношении состояния здоровья и лечения среди населения. Общественное здравоохранение должно понимать, что происходит с населением в сообществах, которые они обслуживают.
Поскольку они смотрят на группы риска, им нужна гибкость линейного списка случаев, лишенного личной информации (PII). С помощью этой информации они могут оценить риск на основе различных демографических и социальных факторов, доступных в источниках данных, не разглашая персональные данные. Список дает им гибкость для применения более сложных анализов, таких как регрессия, к связанным данным. Такие программы, как ЧИНИТ, МДФнети CODI исследовали использование клинических данных в распределенных сетях, чтобы понять бремя хронических заболеваний в сообществах в течение многих лет. Проблемы, стоящие перед этими программами, включают сложные правила обмена данными и подходы к распределенной аналитике в сетях поставщиков данных. MENDS и MDPHnet, например, запускают аналитику на уровне организации без дедупликации между сайтами. Отдельные запросы отправляются на каждый сайт, где они обрабатываются и проверяются людьми, а объединенные результаты отправляются в агентство общественного здравоохранения.
AWS Clean Rooms дает возможность уменьшить нагрузку на поставщиков данных в таких программах, позволяя учреждениям общественного здравоохранения анализировать данные с помощью собственных запросов и снижать риски для конфиденциальности данных, предотвращая доступ к базовым необработанным данным.
Обзор чистых помещений AWS
Чистые помещения AWS был впервые анонсирован на AWS re:Invent 2022 и теперь общедоступен. AWS Clean Rooms позволяет клиентам и их партнерам проще и безопаснее совместно работать над своими коллективными наборами данных, не делясь базовыми данными и не копируя их друг с другом. AWS Clean Rooms предоставляет широкий набор элементов управления для повышения конфиденциальности, которые помогают защитить конфиденциальные данные, включая элементы управления запросами, ограничения на вывод запросов, ведение журналов запросов и средства криптографических вычислений.
С помощью чистых комнат AWS вы можете сотрудничать и анализировать данные с другими участниками совместной работы, при этом ни одной из сторон не нужно делиться необработанными данными или копировать их. AWS Clean Rooms — это сервис без сохранения состояния; он не хранит данные. Вместо этого он считывает данные из того места, где он находится, применяет ограничения, защищающие базовые данные каждого участника во время выполнения запроса, и возвращает результаты. Запросы могут быть написаны для пересечения и анализа источников данных с использованием общих элементов метаданных (например, географии, общих идентификаторов или других демографических факторов), создания списков на уровне строк совпадений между источниками данных или агрегированных подсчетов по населению, состоянию или другие слои.
AWS Clean Rooms помогает агентствам общественного здравоохранения анализировать коллективные данные, чтобы получить более полное представление о здоровье и благополучии их сообществ, сохраняя при этом безопасность и конфиденциальность данных.
Обзор решения
Прежде чем мы приступим к работе с AWS Clean Rooms, давайте сначала поговорим о некоторых ключевых концепциях сервиса:
- Сотрудничество – Это безопасная логическая граница в чистых комнатах AWS, созданная создателем совместной работы. При создании сотрудничества создатель может пригласить дополнительных участников присоединиться к сотрудничеству. Приглашенные участники могут видеть список участников совместной работы, прежде чем они примут приглашение присоединиться к совместной работе.
- Участники – Это относится к клиентам AWS, которые являются участниками сотрудничества. Все участники совместной работы могут присоединяться к данным; однако только один участник может запрашивать и получать результаты для совместной работы, и этот участник неизменен.
- Правила анализа – AWS Clean Rooms поддерживает два типа правил анализа:
- агрегирование – Участники могут выполнять запросы, объединяющие статистику, используя функции COUNT, SUM или AVG по дополнительным измерениям. Запросы агрегации не раскрывают данные на уровне строк.
- Список – Члены могут выполнять запросы, которые выводят данные на уровне строк о перекрытии между двумя таблицами.
- Настроенные таблицы – Участники могут настраивать существующие Клей AWS таблицы для использования в чистых комнатах AWS. Эти данные хранятся в Простой сервис хранения Amazon (Amazon S3) в открытых форматах данных и каталогизированных в каталоге данных AWS Glue. Каждая сконфигурированная таблица содержит правило анализа, которое определяет, как можно запрашивать данные. После настройки участники могут связать настроенную таблицу с одним или несколькими видами сотрудничества.
Начало работы с AWS Clean Rooms — это четырехэтапный процесс:
- Создатель настраивает сотрудничество и приглашает в сотрудничество одного или нескольких участников.
- Приглашенный участник присоединяется к сотрудничеству.
- Участники могут настраивать существующие таблицы AWS Glue для использования в чистых комнатах AWS.
- Участники, имеющие на это разрешение, могут выполнять запросы в совместной работе.
Предпосылки
Для этого пошагового руководства вам потребуется следующее:
Создайте сотрудничество и пригласите одного или нескольких участников
Конфигурацию совместной работы необходимо определить в консоли AWS Clean Rooms с помощью Интерфейс командной строки AWS (AWS CLI) или с помощью AWS SDK. Мы покажем, как настроить это на консоли.
- В консоли AWS Clean Rooms выберите Создать совместную работу.
- Что касается Имя, введите имя (например, Демонстрационная совместная работа).
- Что касается Описание, добавьте необязательное описание.
- В Участники раздел, добавьте следующие элементы:
- Участник 1 – Введите отображаемое имя участника (идентификатор вашей учетной записи AWS заполняется автоматически).
- Участник 2 – Введите отображаемое имя участника и идентификатор учетной записи AWS для участника, которого вы хотите пригласить.
- Выберите Добавить еще одного участника чтобы добавить больше участников.
- В Способности участника раздел, выберите одного члена, который будет запрашивать и получать результаты.
- В Регистрация запросов раздел, выберите Поддержка ведения журнала запросов для этого сотрудничества регистрировать запросы в Amazon CloudWatch журналы.
- Выберите Следующая.
- В Членство в сотрудничестве выберите вариант хранилища, который вы предпочитаете для CloudWatch.
- Выберите Следующая.
- На Просмотрите и создайте выберите страницу Создать совместную работу и членство после просмотра деталей для обеспечения точности.
Поздравляем с созданием вашей первой совместной работы! Подробности сотрудничества вы можете посмотреть на Сотрудничество стр.
Присоединяйтесь к сотрудничеству
Каждый участник совместной работы может войти в консоль AWS Clean Rooms, просмотреть приглашение и принять решение о присоединении к совместной работе, выполнив следующие действия:
- В консоли AWS Clean Rooms выберите Сотрудничество в навигационной панели.
- На Доступно для присоединения выберите сотрудничество, в которое вас пригласили.
На странице сведений вы можете просмотреть способности участника.
- Выберите предпочтительный вариант хранения журнала и выберите Создать членство.
- На странице подтверждения убедитесь, что перечисленные участники соответствуют вашим соглашениям об обмене данными, затем выберите Создать членство.
После того, как вы создадите членство, ваш статус участника изменится на Активные на панели совместной работы.
Настройте существующие таблицы AWS Glue для использования в чистых комнатах AWS.
AWS Clean Rooms не требует от вас копирования данных, поскольку он считывает данные из Amazon S3. Это устраняет необходимость копировать и загружать ваши данные в места назначения за пределами вашей соответствующей учетной записи AWS или использовать сторонние сервисы для облегчения обмена данными.
Каждый участник совместной работы может создавать настроенные таблицы — ресурс AWS Clean Rooms, который содержит ссылку на каталог данных AWS Glue с базовыми данными, определяющими, как эти данные можно использовать. Настроенную таблицу можно использовать во многих совместных проектах.
- В консоли AWS Clean Rooms выберите Настроенные таблицы в навигационной панели.
- Выберите Настроить новую таблицу.
- Выберите базу данных, чтобы заполнить список таблиц AWS Glue, и выберите таблицу, которую хотите связать с совместной работой.
Для каждой выбранной таблицы вы можете определить, какие столбцы могут быть доступны в совместной работе.
- Выберите Все столбцы или выберите Пользовательский список чтобы выбрать подмножество столбцов, которые будут доступны в сотрудничестве.
- Введите имя настроенной таблицы.
- Выберите Настроить новую таблицу.
В дополнение к элементам управления доступом на уровне столбцов AWS Clean Rooms предоставляет детализированные элементы управления запросами, называемые правилами анализа. Благодаря встроенным и гибким правилам анализа вы можете адаптировать запросы к конкретным бизнес-потребностям. Как обсуждалось ранее, AWS Clean Rooms предоставляет два типа правил анализа:
- Правила агрегатного анализа – Они позволяют выполнять запросы, которые объединяют данные, не раскрывая информацию на уровне строк. Доступные функции включают COUNT, SUM и AVG, а также дополнительные измерения.
- Правила анализа списка – Они позволяют выполнять запросы, выводящие результаты анализа атрибутов на уровне строк перекрытия между таблицами в пространстве совместной работы.
Оба типа правил позволяют владельцам данных указывать соединение между своими наборами данных и наборами данных соавтора, выполняющего запрос. Это ограничивает результаты только их пересечением наборов данных соавторов.
- В настроенной таблице выберите Настроить правило анализа настроить правила анализа.
- Для этого поста мы выбираем Список потому что мы хотим запросить статус иммунизации пациентов, объединившись с данными иммунизации от других участников.
- Выберите метод создания и выберите Следующая.
- Чтобы определить критерии объединения таблиц, в Присоединить элементы управления выберите имена столбцов, подходящие для объединения.
- Чтобы указать, какие столбцы будут выводиться, определите их в Список элементов управления .
- Выберите Следующая.
- Выберите Настроить правило анализа на Просмотрите и настройте стр.
Вы увидите сообщение Успешно настроено правило анализа списка на странице настроенных таблиц.
- Выберите Присоединить к сотрудничеству чтобы связать эту таблицу с созданным вами сотрудничеством.
- Ознакомьтесь с подробностями на Связать таблицу страницу и выберите Связать таблицу.
На странице сотрудничества будет отображаться список таблиц, которые вы связываете с сотрудничеством.
Каждый участник сотрудничества должен повторить вышеупомянутые шаги, чтобы связать свои таблицы каталога данных AWS Glue с сотрудничеством. Для этого поста другие участники сотрудничества выполняют те же действия, чтобы связать свои данные с сотрудничеством. Затем сотрудничество выведет список всех таблиц, связанных с другими участниками.
После определения правил анализа для сконфигурированных таблиц и связывания их с сотрудничеством участники, которые могут запрашивать и получать результаты, могут начать писать запросы в соответствии с ограничениями, установленными каждым участвующим участником сотрудничества. В следующем разделе приведены примеры запросов на совместную работу.
Выполнение запросов в сотрудничестве
На следующем снимке экрана показан пример запроса, который не будет выполнен, поскольку * не поддерживается. Имена столбцов должны быть указаны в запросе.
На следующем снимке экрана показан пример запроса, который не будет выполнен успешно, поскольку вы не можете связать столбцы, ограниченные участниками в ваших объединениях.
На следующем снимке экрана показан пример запроса, который будет выполнен успешно, поскольку в нем используются разрешенные столбцы (столбцы, являющиеся частью правила анализа списка) в предложении выбора и условии соединения.
Образцы наборов данных (пациент и иммунизация), используемые в этом посте, включают уникальный идентификатор (идентификатор пациента). Однако в реальном сценарии это может быть не так. В таких ситуациях вы можете рассмотреть возможность использования связывания записей с сохранением конфиденциальности (PPRL) для создания уникального деидентифицированного токена. Например, программа CODI Центра по контролю и профилактике заболеваний (CDC) выполняет дедупликацию между владельцами данных, стандартизированным образом скрывая PII за брандмауэром каждой организации. Эта запутанная информация объединяется для создания уникального деидентифицированного токена для каждого человека, который анализируется в источниках данных. Если агентства общественного здравоохранения хотят проводить анализ на основе индивидуально связанных лонгитюдных данных, они могут применить PPRL к каждому источнику данных и использовать этот элемент метаданных для связывания источников данных в чистых комнатах AWS перед проведением аналитики.
Убирать
В рамках этого пошагового руководства вы подготовили совместную работу AWS Clean Rooms, пригласили других участников присоединиться к совместной работе и настроили таблицы. Чтобы удалить эти ресурсы, см. Выход из сотрудничества и Отключение настроенных таблиц.
Заключение
В этом посте мы показали, как создать совместную работу, пригласить других участников к совместной работе, настроить существующие таблицы каталога AWS Glue, применить правила анализа и выполнить образцы запросов в консоли AWS Clean Rooms. Во второй части этой серии мы покажем, как автоматизировать выполнение запросов с помощью AWS Lambda, запросите результаты, используя Амазонка Афинаи публиковать информационные панели, используя Amazon QuickSight.
Об авторах
Венката Кампана является старшим архитектором решений в команде AWS Health and Human Services и базируется в Сакраменто, Калифорния. В этой роли он помогает клиентам из государственного сектора достигать поставленных целей с помощью продуманных решений на AWS.
Доктор Дон Хейси-Гроув является руководителем отдела аналитики общественного здравоохранения в команде государственных и местных органов власти Amazon Web Services. В этой роли она отвечает за то, чтобы помогать государственным и местным агентствам общественного здравоохранения творчески подходить к решению своих аналитических задач и долгосрочных целей. Она посвятила свою карьеру поиску новых способов использования существующих или новых данных для поддержки наблюдения и исследований в области общественного здравоохранения.
Джим Дэниел является руководителем общественного здравоохранения в Amazon Web Services. Ранее он почти десять лет занимал должности в Министерстве здравоохранения и социальных служб США, включая директора по инновациям в области общественного здравоохранения и координатора общественного здравоохранения. До своей государственной службы Джим работал директором по информационным технологиям в Департаменте общественного здравоохранения штата Массачусетс.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- ЭВМ Финанс. Единый интерфейс для децентрализованных финансов. Доступ здесь.
- Квантум Медиа Групп. ИК/PR усиление. Доступ здесь.
- ПлатонАйСтрим. Анализ данных Web3. Расширение знаний. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/big-data/part-1-enable-data-collaboration-among-public-health-agencies-with-aws-clean-rooms/
- :является
- :нет
- :куда
- 1
- 100
- 12
- 195
- 2022
- 7
- a
- способности
- О нас
- Принять
- доступ
- Доступ
- По
- Учетная запись
- точность
- Достигать
- через
- Добавить
- дополнение
- дополнительный
- административный
- После
- агентствах
- агентство
- агрегирование
- соглашения
- выравнивать
- Все
- позволять
- позволяет
- вдоль
- Amazon
- Amazon Web Services
- среди
- an
- анализ
- аналитика
- анализировать
- проанализированы
- и
- объявило
- Другой
- Применить
- подходы
- соответствующий
- МЫ
- около
- AS
- оценить
- Юрист
- связанный
- At
- автоматизировать
- автоматически
- доступен
- AVG
- AWS
- Клей AWS
- AWS Re: Invent
- основанный
- BE
- , так как:
- до
- за
- между
- широкий
- встроенный
- бремя
- бизнес
- by
- CA
- под названием
- CAN
- заботится
- Карьера
- случаев
- случаев
- каталог
- CDC
- проблемы
- менялась
- главный
- Выберите
- Клинический
- сотрудничать
- сотрудничество
- сотрудничество
- собирательный
- Column
- Колонки
- сочетании
- Общий
- Сообщества
- сообщество
- полный
- комплекс
- вычисление
- понятия
- состояние
- Условия
- Проводить
- проведение
- Конфигурация
- настроить
- подтверждение
- Рассматривать
- Консоли
- содержит
- вкладчики
- контрольная
- Координатор
- копирование
- может
- Создайте
- создали
- Создающий
- создание
- Творчески
- создатель
- Критерии
- криптографический
- Клиенты
- приборная панель
- щитки
- данным
- конфиденциальность данных
- обмен данными
- База данных
- Наборы данных
- десятилетие
- решать
- определенный
- Определяет
- определяющий
- Демо
- демографический
- демонстрировать
- Кафедра
- описание
- направления
- подробнее
- Определять
- определяет
- размеры
- директор
- обсуждается
- заболеваний
- Дисплей
- распределенный
- do
- не
- каждый
- Ранее
- легко
- или
- элемент
- элементы
- ликвидирует
- включить
- позволяет
- обеспечивать
- Enter
- Эфир (ETH)
- пример
- существующий
- Разведанный
- содействовал
- всего лишь пяти граммов героина
- факторы
- обнаружение
- брандмауэр
- Во-первых,
- Трансформируемость
- гибкого
- следовать
- после
- Что касается
- от
- Функции
- Gain
- в общем
- порождающий
- география
- получить
- дает
- цель
- Цели
- Правительство
- правительственный
- правительственные учреждения
- Случай
- имеющий
- he
- Медицина
- Герой
- помощь
- помощь
- помогает
- ее
- его
- Как
- How To
- Однако
- HTML
- HTTP
- HTTPS
- человек
- Людей
- ID
- идентификатор
- идентификаторы
- определения
- if
- неизменный
- улучшение
- in
- включают
- включает в себя
- В том числе
- individual
- в отдельности
- информация
- Инновации
- вместо
- пересечение
- в
- приглашение
- приглашать
- приглашенный
- наводящие
- IT
- Джим
- присоединиться
- присоединился
- присоединение
- Играя
- JPG
- всего
- Основные
- вести
- лидер
- уровень
- такое как
- рамки
- линия
- LINK
- связанный
- Список
- Включенный в список
- Списки
- Живет
- загрузка
- локальным
- Местное правительство
- журнал
- каротаж
- логический
- долгосрочный
- искать
- сохранение
- сделать
- Мандат
- многих
- Массачусетс
- Май..
- член
- Участники
- членство
- сообщение
- Метаданные
- метод
- может быть
- Наша миссия
- смягчать
- БОЛЕЕ
- должен
- имя
- имена
- Навигация
- почти
- Необходимость
- потребности
- сетей
- Новые
- сейчас
- целей
- of
- Предложения
- сотрудник
- on
- ONE
- только
- открытый
- открытые данные
- Возможность
- Опция
- or
- заказ
- организация
- организации
- Другое
- выходной
- внешнюю
- собственный
- Владельцы
- страница
- хлеб
- часть
- новыми участниками
- участвующий
- Стороны
- партнеры
- вечеринка
- пациент
- разрешение
- Лично
- PII
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- сборах
- населенный
- население
- популяции
- позиции
- После
- предпочитать
- привилегированный
- предупреждение
- предварительно
- политикой конфиденциальности.
- процесс
- обрабатываемых
- FitPartner™
- Программы
- для защиты
- поставщики
- приводит
- что такое варган?
- здравоохранение
- публиковать
- толкнул
- Запросы
- Сырье
- необработанные данные
- RE
- реальный мир
- Получать
- запись
- уменьшить
- понимается
- регресс
- Связанный
- повторять
- требовать
- исследованиям
- ресурс
- Полезные ресурсы
- те
- ответственный
- ограниченный
- Ограничения
- Итоги
- Возвращает
- показывать
- выявление
- обзоре
- отзывы
- обзор
- Снижение
- рисках,
- Роли
- Комнаты
- Правило
- условиями,
- Run
- Бег
- Сакраменто
- то же
- сценарий
- SDK
- Раздел
- сектор
- безопасный
- безопасно
- безопасность
- посмотреть
- выбранный
- старший
- чувствительный
- послать
- Серии
- служить
- обслуживание
- Услуги
- набор
- Поделиться
- общие
- разделение
- показывать
- показал
- просто
- сайте
- Сайтов
- обстоятельства
- So
- Соцсети
- Решения
- некоторые
- Источник
- Источники
- Space
- конкретный
- указанный
- потраченный
- Начало
- и политические лидеры
- Область
- Области
- статистика
- Статус:
- Шаги
- диск
- магазин
- Хранить данные
- хранить
- успешный
- такие
- поддержка
- Поддержанный
- Поддержка
- наблюдение
- ТАБЛИЦЫ
- Говорить
- команда
- который
- Ассоциация
- их
- Их
- тогда
- Эти
- они
- think
- сторонние
- этой
- те
- в
- знак
- инструменты
- лечение
- Тенденции
- два
- Типы
- лежащий в основе
- понимать
- созданного
- Объединенный
- США
- использование
- используемый
- использования
- через
- разнообразие
- различный
- проверить
- с помощью
- Вид
- прохождение
- хотеть
- законопроект
- Путь..
- способы
- we
- Web
- веб-сервисы
- ЧТО Ж
- были
- Что
- Что такое
- когда
- который
- в то время как
- КТО
- будете
- в
- без
- письмо
- письменный
- лет
- являетесь
- ВАШЕ
- зефирнет