В нашем все более цифровом мире доступ к высокоскоростному широкополосному доступу является необходимостью для полноценного участия в жизни нашего общества, однако миллионы американских домохозяйств по-прежнему не имеют доступа к Интернету. Консультанты по управлению персоналом и администрированию— многопрофильная консалтинговая компания, имеющая обширную работу в сфере широкополосной связи и цифрового капитала, помогает своим клиентам в штатах, округах и муниципалитетах обеспечивать доступный доступ к Интернету, анализируя местные потребности в цифровом доступе и создавая индивидуальные планы цифрового капитала.
Первым шагом в этом процессе является картирование цифрового неравенства. Какие семьи не имеют доступа к Интернету дома? Где они живут? Каковы их конкретные потребности?
Общедоступных источников данных недостаточно для формирования истинного понимания потребностей в цифровом охвате. Чтобы заполнить пробелы в существующих данных, HR&A проводит исследования цифрового капитала, чтобы составить более полную картину перед разработкой планов цифрового капитала. HR&A использовал Amazon Redshift без сервера и КАРТО для более эффективной обработки результатов опросов и создания индивидуальных интерактивных информационных панелей для облегчения понимания результатов. Сотрудничество HR&A с Амазонка Redshift и CARTO позволили сократить общее время развертывания и управления информационными панелями на 75 % и помогли команде достичь следующих технических целей:
- Загрузка результатов съемки (файлы CSV) и геометрических данных (файлы форм) в хранилище данных.
- Выполняйте геопространственные преобразования с помощью заданий извлечения, преобразования и загрузки (ELT) для объединения геометрических данных с результатами съемки в хранилище данных, чтобы обеспечить визуализацию результатов съемки на карте.
- Интеграция с инструментом бизнес-аналитики (BI) для расширенных геопространственных функций, визуализаций и картографических панелей.
- Масштабируйте емкость хранилища данных вверх или вниз для экономичного решения рабочих задач различной сложности.
В этой статье мы рассказываем, как HR&A использует пространственную аналитику Amazon Redshift и CARTO для экономичного геопространственного измерения охвата цифровыми технологиями и доступа в Интернет в нескольких штатах США.
Прежде чем мы перейдем к деталям архитектуры, вот что говорят об этом решении HR&A и его клиент, «Офис будущего сферы труда» в Колорадо.
«Работая с командой HR&A Advisors, команда Digital Equity в Колорадо создала специальную панель мониторинга, которая позволила нам очень эффективно оценить наш охват при опросе исторически маргинализированных групп населения по всему Колорадо. Этот динамический инструмент, созданный на базе AWS и CARTO, обеспечил надежную визуализацию того, какие регионы и группы населения взаимодействовали с нашим опросом, что позволило нам быстро увеличить масштаб и устранить пробелы в охвате. Обеспечение возможности получения данных от тех, кто больше всего пострадал от цифрового неравенства в Колорадо, имело жизненно важное значение для решения проблемы цифрового неравенства в нашем штате».
— Мелани Коллетти, менеджер по цифровому капиталу в Офисе будущего труда в Колорадо.
«AWS позволяет нам безопасно хранить все данные наших опросов в одном месте, быстро очищать и анализировать их на Amazon Redshift, а также отражать результаты посредством интеграции с инструментами визуализации данных, такими как CARTO, при этом данные никогда не покидают AWS. Это освобождает локальное компьютерное пространство, значительно автоматизирует этапы очистки и анализа опросов, а также позволяет нашим клиентам легко получить доступ к результатам данных. После проверки концепции и разработки первого прототипа почти все наши государственные заказчики проявили интерес к использованию того же решения в своих штатах».
— Харман Сингх Дходи, аналитик HR&A Advisors, Inc.
Хранение и анализ больших наборов данных опросов
HR&A использовало Redshift Serverless для хранения больших объемов данных о цифровом включении в одном месте, а также быстрого преобразования и анализа их с помощью аналитического набора инструментов CARTO для расширения пространственных возможностей Amazon Redshift и интеграции с инструментами визуализации данных CARTO — и все это без того, чтобы данные когда-либо покидали среду AWS. . Это значительно сократило время выполнения аналитических работ.
Ассоциация CARTO Analytics Toolbox для Redshift состоит из набора определяемых пользователем функций и процедур, организованных в набор модулей в зависимости от предлагаемой ими функциональности.
На следующем рисунке показаны шаги решения и рабочего процесса, разработанные в ходе проверки концепции виртуального частного облака (VPC) на Amazon Redshift.
В следующих разделах мы обсудим каждый этап рабочего процесса более подробно.
Прием данных
HR&A получает данные опросов в виде широких файлов CSV с сотнями столбцов в каждом файле и связанных с ними пространственных данных в шестнадцатеричном формате. Расширенный хорошо известный двоичный файл (EWKB) в виде шейп-файлов. Эти файлы хранятся в Простой сервис хранения Amazon (Amazon S3).
Ассоциация Команда Redshift КОПИРОВАТЬ используется для приема пространственных данных из файлов форм в собственный тип данных GEOMETRY, поддерживаемый в Amazon Redshift. Сочетание Спектр красного смещения Амазонки и команды COPY используются для приема данных съемки, хранящихся в виде файлов CSV. Для файлов с неизвестной структурой Клей AWS ползунки используются для извлечения метаданных и создания определений таблиц в Каталог данных. Эти определения таблиц используются в качестве хранилища метаданных для внешних таблиц в Amazon Redshift.
Для файлов с известной структурой используется хранимая процедура Redshift, которая принимает местоположение файла и имя таблицы в качестве параметров и запускает команду COPY для загрузки необработанных данных в соответствующие таблицы Redshift.
Преобразование данных
Несколько хранимых процедур используются для разделения необработанных данных таблицы и загрузки их в соответствующие целевые таблицы с применением определяемых пользователем преобразований.
Эти правила преобразования включают преобразование данных GEOMETRY с использованием собственных Геопространственные функции Redshift, Как ST_Area и ST_длинаи CARTO расширенные пространственные функции, которые легко доступны в Amazon Redshift как часть CARTO Analytics Toolbox для Redshift. установка. Кроме того, все этапы приема и преобразования данных автоматизированы с помощью AWS Lambda функция для запуска запроса Redshift при обновлении любого набора данных в Amazon S3.
Визуализация данных
Команда HR&A использовала коннектор Redshift CARTO для подключения к бессерверной конечной точке Redshift и создала информационные панели с использованием интерфейса SQL CARTO и виджетов для облегчения картографирования при выполнении динамических вычислений данных карты в соответствии с потребностями клиента.
Ниже приведены примеры снимков панелей мониторинга, на которых показаны ответы на опросы по почтовым индексам. Округа, отмеченные более светлыми оттенками, представляют собой ограниченные ответы на опросы и должны быть включены в целевую стратегию сбора данных.
На первом изображении показана панель мониторинга без активных фильтров. На втором изображении показана отфильтрованная карта и чаты респондентов, принявших участие в опросе на испанском языке. Пользователь может выбирать функции и переключаться между ними, щелкая соответствующую категорию на любой гистограмме.
Результат: новый стандарт автоматического обновления информационных панелей цифрового охвата.
После разработки первого прототипа интерактивной информационной панели с использованием этой методологии пять государственных клиентов HR&A (Калифорния, Техас, Невада, Колорадо и Массачусетс) проявили интерес к этому решению. Отделу HR&A удалось внедрить его для каждого из них в течение двух месяцев — невероятно быстрый результат для создания индивидуальной интерактивной информационной панели по включению цифровых технологий.
HR&A также добился сокращения общего времени на развертывание и управление информационными панелями на 75 %, а это означало, что консалтинговая группа могла перенаправить свое внимание с ручного анализа данных на помощь клиентам в интерпретации и стратегическом планировании результатов. Наконец, удобный интерфейс информационной панели сделал данные опросов более доступными для более широкого круга заинтересованных сторон. Это помогло достичь общего понимания при оценке пробелов в сфере охвата цифровыми технологиями в каждом штате и позволило разработать целевую стратегию сбора данных из областей с ограниченными ответами на опросы, тем самым поддерживая более продуктивное сотрудничество в целом.
Заключение
В этом посте мы показали, как отделу кадров и администрации удалось анализировать большие объемы геопространственных данных с помощью Amazon Redshift Serverless и CARTO.
Благодаря успешному внедрению HR&A становится очевидным, что Redshift Serverless с его гибкостью и масштабируемостью может использоваться в качестве катализатора позитивных социальных изменений. Поскольку HR&A продолжает прокладывать путь к цифровому равенству, их история является свидетельством того, как сервисы AWS и ее партнеров можно использовать для решения реальных проблем.
Мы рекомендуем вам изучить Redshift Serverless с CARTO для анализа пространственных данных и поделиться своим опытом в комментариях.
Об авторах
Харман Сингх Дходи Будучи аналитиком в HR&A Advisors, Харман сочетает свою страсть к анализу данных с практиками устойчивой инфраструктуры, социальной интеграцией, экономической жизнеспособностью, устойчивостью к изменению климата и наращиванием потенциала заинтересованных сторон. Работа Хармана часто фокусируется на преобразовании сложных наборов данных в визуальные истории и доступные инструменты, которые помогают сообществам понять проблемы, с которыми они сталкиваются, и найти решения для светлого будущего.
Киран Кумар Тати — специалист по архитектуре аналитических решений из Омахи, штат Небраска. Он специализируется на создании комплексных аналитических решений. Он имеет более чем 13-летний опыт разработки и внедрения крупномасштабных решений для работы с большими данными и аналитикой. В свободное время он любит играть в крикет и смотреть спортивные состязания.
Сапна Махешвари — старший архитектор решений в Amazon Web Services. Она помогает клиентам разрабатывать масштабные решения для анализа данных на AWS. Вне работы она любит путешествовать и пробовать новые кухни.
Вашим Наваз — специалист по архитектуре аналитических решений в AWS. Он работал над созданием и настройкой решений для хранилищ данных и озер данных более 15 лет. Он с энтузиазмом помогает клиентам модернизировать свои платформы данных с помощью эффективных, производительных и масштабируемых аналитических решений. Вне работы он любит смотреть игры и путешествовать.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- :имеет
- :является
- :куда
- $UP
- 1
- 120
- 13
- 15 лет
- 15%
- 150
- 29
- 33
- 35%
- a
- в состоянии
- О нас
- доступ
- доступной
- Достигать
- через
- активный
- адрес
- адресация
- продвинутый
- Консультанты
- доступной
- Все
- позволять
- разрешено
- позволяет
- почти
- причислены
- Amazon
- Amazon Web Services
- американские
- суммы
- an
- анализ
- аналитик
- аналитический
- Аналитические фармацевтические услуги
- аналитика
- анализировать
- анализ
- и
- любой
- Применение
- архитектура
- МЫ
- области
- около
- AS
- Оценка
- помощь
- At
- Автоматизированный
- автоматы
- автоматически
- доступен
- AWS
- бар
- основанный
- BE
- было
- до
- между
- большой
- Big Data
- ярче
- широкополосный
- строить
- Строительство
- построенный
- бизнес
- бизнес-аналитика
- by
- CA
- CAN
- возможности
- Пропускная способность
- Катализатор
- Категории
- проблемы
- изменение
- Графики
- Уборка
- клиент
- клиентов
- климат
- облако
- CO
- код
- сотрудничество
- лыжных шлемов
- Колорадо
- Колонки
- сочетание
- комбинаты
- Комментарии
- Сообщества
- полный
- комплекс
- сложность
- состоящие
- компьютер
- сама концепция
- Свяжитесь
- консультирование
- консалтинг
- продолжается
- соответствующий
- рентабельным
- может
- округ
- охват
- Создайте
- создали
- создает
- крикет
- изготовленный на заказ
- Клиенты
- Порез
- приборная панель
- щитки
- данным
- Анализ данных
- Озеро данных
- визуализация данных
- информационное хранилище
- Наборы данных
- Определения
- доставить
- развертывание
- проектирование
- подробность
- подробнее
- развитый
- развивающийся
- Развитие
- Интернет
- цифровой мир
- обсуждать
- делить
- do
- Dont
- вниз
- в течение
- динамический
- каждый
- легко
- Экономические
- фактически
- эффективный
- эффективно
- расширение прав и возможностей
- позволяет
- поощрять
- впритык
- Конечная точка
- обеспечение
- Окружающая среда
- собственный капитал
- Эфир (ETH)
- оценивать
- НИКОГДА
- очевидный
- существующий
- опыт
- Больше
- продлить
- обширный
- и, что лучший способ
- извлечение
- содействовал
- всего лишь пяти граммов героина
- Особенности
- фигура
- Файл
- Файлы
- заполнять
- фильтры
- в заключение
- результаты
- Во-первых,
- 5
- Трансформируемость
- Фокус
- фокусируется
- после
- Что касается
- форма
- от
- полностью
- функция
- функциональность
- Функции
- Более того
- будущее
- Будущее работы
- Игры
- пробелы
- геометрия
- получить
- Цели
- значительно
- Есть
- he
- помощь
- помог
- помощь
- помогает
- здесь
- его
- исторически
- Главная
- Вилла / Бунгало
- домохозяйства
- Как
- HTML
- HTTP
- HTTPS
- Сотни
- иллюстрирующая
- изображение
- влияние
- осуществлять
- реализация
- Осуществляющий
- in
- включают
- включены
- включение
- все больше и больше
- невероятно
- Инфраструктура
- интегрировать
- интеграции.
- Интеллекта
- взаимодействующий
- интерактивный
- интерес
- Интерфейс
- Интернет
- доступ в Интернет
- в
- IT
- ЕГО
- Джобс
- присоединиться
- JPG
- Знать
- известный
- Кумар
- озеро
- пейзаж
- язык
- большой
- уход
- позволять
- более легкий
- такое как
- Ограниченный
- жить
- загрузка
- локальным
- в местном масштабе
- расположение
- сделанный
- управление
- менеджер
- вручную
- карта
- отображение
- означает,
- проводить измерение
- измерение
- Мелани
- Метаданные
- Методология
- миллионы
- зеркало
- модернизировать
- Модули
- БОЛЕЕ
- самых
- многопрофильный
- с разными
- муниципальный
- имя
- родной
- ne
- необходимость
- Необходимость
- потребности
- Новые
- NV
- of
- предлагают
- Офис
- .
- Омаха
- on
- ONE
- or
- Организованный
- наши
- внешний
- внешнюю
- за
- общий
- параметры
- часть
- участвовать
- партнеры
- страсть
- страстный
- вымостить
- для
- выполнения
- фаза
- картина
- Часть
- план
- Планы
- Платформы
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- игры
- популяции
- положительный
- После
- Питание
- практиками
- частная
- процедуры
- Процедуры
- процесс
- производительный
- доказательство
- доказательство концепции
- прототип
- при условии
- САЙТ
- быстро
- ассортимент
- Сырье
- необработанные данные
- достигать
- легко
- реальный мир
- реализованный
- получает
- переориентировать
- снижение
- районы
- Связанный
- хранилище
- представлять
- те
- респондентов
- ответы
- результат
- привело
- Итоги
- надежный
- условиями,
- Run
- работает
- то же
- сообщили
- Масштабируемость
- масштабируемые
- Шкала
- скриншоты
- Во-вторых
- разделах
- безопасно
- Искать
- выберите
- Serverless
- Услуги
- набор
- Форма
- общие
- она
- показывать
- показал
- Шоу
- существенно
- просто
- Соцсети
- Социальные перемены
- Общество
- Решение
- Решения
- Источники
- Space
- Испанский
- пространственный
- специалист
- специализируется
- конкретный
- раскол
- Спорт
- SQL
- заинтересованные стороны
- заинтересованных сторон
- стандарт
- стоит
- Область
- Области
- Шаг
- Шаги
- По-прежнему
- диск
- магазин
- хранить
- Истории
- История
- Стратегически
- Стратегия
- структур
- успешный
- такие
- достаточный
- Поддержанный
- поддержки
- Опрос
- комфортного
- ТАБЛИЦЫ
- с учетом
- принимает
- цель
- целевое
- команда
- Технический
- воли
- чем
- который
- Ассоциация
- Будущее
- Будущее труда
- Государство
- их
- Их
- Там.
- тем самым
- Эти
- они
- этой
- те
- Через
- время
- раз
- в
- приняли
- инструментом
- Ящик для инструментов
- Инструментарий
- инструменты
- Transform
- трансформация
- преобразований
- Путешествие
- правда
- пытается
- TX
- напишите
- понимать
- понимание
- неизвестный
- обновление
- обновление
- us
- США
- используемый
- Информация о пользователе
- удобно
- использования
- через
- Различная
- очень
- жизнеспособность
- Виртуальный
- визуальный
- визуализация
- жизненный
- тома
- Склады
- законопроект
- наблюдение
- Путь..
- we
- Web
- веб-сервисы
- известный
- были
- Что
- когда
- который
- в то время как
- КТО
- широкий
- Шире
- Википедия.
- в
- без
- Работа
- работавший
- рабочий
- Мир
- лет
- еще
- являетесь
- ВАШЕ
- зефирнет
- ZIP
- зум