У нашому все більш цифровому світі доступний доступ до високошвидкісного широкосмугового зв’язку є необхідністю для повноцінної участі в житті нашого суспільства, однак мільйони американських домогосподарств все ще не мають доступу до Інтернету. HR&A радники— багатопрофільна консалтингова компанія, яка активно працює в сфері широкосмугового зв’язку та цифрового капіталу, допомагає своїм державним, окружним і муніципальним клієнтам забезпечити доступний доступ до Інтернету шляхом аналізу місцевих потреб у цифровому включенні та розробки індивідуальних планів цифрового капіталу.
Першим кроком у цьому процесі є визначення цифрового розриву. Які родини не мають доступу до Інтернету вдома? Де вони живуть? Які їхні конкретні потреби?
Загальнодоступних джерел даних недостатньо для створення справжнього розуміння потреб цифрового залучення. Щоб заповнити прогалини в наявних даних, HR&A створює опитування цифрового капіталу, щоб створити більш повну картину перед розробкою планів цифрового капіталу. HR&A використовував Amazon Redshift без сервера та ПАПЕР ефективніше обробляти результати опитування та створювати власні інтерактивні інформаційні панелі для полегшення розуміння результатів. Співпраця HR&A з Амазонська червона зміна і CARTO призвели до 75% скорочення загального часу на розгортання та управління панеллю інструментів і допомогли команді досягти наступних технічних цілей:
- Завантажте результати зйомок (файли CSV) і геометричні дані (файли форм) у сховище даних
- Виконуйте геопросторові перетворення за допомогою завдань вилучення, трансформування та завантаження (ELT), щоб об’єднати геометричні дані з результатами зйомки в сховищі даних, щоб забезпечити візуалізацію результатів зйомки на карті
- Інтеграція з інструментом бізнес-аналітики (BI) для розширених геопросторових функцій, візуалізацій і картографічних інформаційних панелей
- Збільшуйте або зменшуйте ємність сховища даних для вирішення робочих навантажень різної складності економічно ефективним способом
У цій публікації ми розповідаємо, як HR&A використовує просторову аналітику Amazon Redshift і CARTO для економічно ефективного геопросторового вимірювання цифрового включення та доступу до Інтернету в кількох штатах США.
Перш ніж ми перейдемо до деталей архітектури, ось що говорять про це рішення HR&A та його клієнт, Офіс майбутнього роботи штату Колорадо.
«Працюючи з командою HR&A Advisors, команда Digital Equity в Колорадо створила спеціальну інформаційну панель, яка дозволила нам дуже ефективно оцінити наше охоплення під час опитування історично маргіналізованих груп населення в Колорадо. Цей динамічний інструмент на базі AWS і CARTO забезпечив надійну візуалізацію того, які регіони та групи населення взаємодіяли з нашим опитуванням, дозволяючи нам швидко збільшувати масштаб і усувати прогалини в охопленні. Забезпечення того, щоб ми могли шукати дані від тих, хто найбільше постраждав від цифрового розриву в Колорадо, було життєво важливим для вирішення проблеми цифрової нерівності в нашому штаті».
— Мелані Коллетті, менеджер із цифрового капіталу в Офісі майбутнього роботи штату Колорадо
«AWS дозволяє нам безпечно зберігати всі наші дані опитування в одному місці, швидко очищати та аналізувати їх на Amazon Redshift, а також віддзеркалювати результати за допомогою інтеграції з інструментами візуалізації даних, такими як CARTO, при цьому дані не залишають AWS. Це звільняє простір на нашому локальному комп’ютері, суттєво автоматизує етапи очищення та аналізу опитувань і дозволяє нашим клієнтам легко отримувати доступ до результатів даних. Після перевірки концепції та розробки першого прототипу майже всі наші державні клієнти виявили зацікавленість у використанні того самого рішення для своїх штатів».
— Харман Сінгх Доді, аналітик HR&A Advisors, Inc.
Зберігання та аналіз великих масивів даних опитування
HR&A використовували Redshift Serverless для зберігання великих обсягів даних цифрового включення в одному місці та швидкої трансформації та аналізу за допомогою аналітичного інструментарію CARTO для розширення просторових можливостей Amazon Redshift та інтеграції з інструментами візуалізації даних CARTO — і все це без виходу даних із середовища AWS. . Це значно скоротило час виконання аналізу.
Команда CARTO Analytics Toolbox для Redshift складається з набору визначених користувачем функцій і процедур, організованих у набір модулів на основі функціональності, яку вони пропонують.
На наступному малюнку показано кроки рішення та робочого процесу, розроблені під час перевірки концепції з віртуальною приватною хмарою (VPC) на Amazon Redshift.
У наступних розділах ми детальніше обговорюємо кожен етап робочого процесу.
Приймання даних
HR&A отримує дані опитування у вигляді широких файлів CSV із сотнями стовпців у кожному файлі та пов’язаних просторових даних у шістнадцятковому форматі Розширений добре відомий двійковий файл (EWKB) у вигляді шейп-файлів. Ці файли зберігаються в Служба простого зберігання Amazon (Amazon S3).
Команда Червоне зміщення команда COPY використовується для введення просторових даних із шейп-файлів у рідний тип даних GEOMETRY, який підтримується в Amazon Redshift. Поєднання Спектр червоного зсуву Amazon і команди COPY використовуються для отримання даних опитування, що зберігаються у вигляді файлів CSV. Для файлів з невідомою структурою, Клей AWS повзунки використовуються для вилучення метаданих і створення визначень таблиці в Каталог даних. Ці визначення таблиць використовуються як сховище метаданих для зовнішніх таблиць в Amazon Redshift.
Для файлів із відомою структурою використовується збережена процедура Redshift, яка приймає розташування файлу та назву таблиці як параметри та виконує команду COPY для завантаження необроблених даних у відповідні таблиці Redshift.
Перетворення даних
Кілька збережених процедур використовуються для розділення необроблених даних таблиці та завантаження їх у відповідні цільові таблиці під час застосування визначених користувачем перетворень.
Ці правила перетворення включають перетворення даних GEOMETRY за допомогою нативних даних Геопросторові функції червоного зсуву, Як ST_Area та ST_довжинаі CARTO розширені просторові функції, які легко доступні в Amazon Redshift як частина CARTO Analytics Toolbox для Redshift установка. Крім того, усі етапи прийому та перетворення даних автоматизовані за допомогою AWS Lambda для запуску запиту Redshift, коли будь-який набір даних в Amazon S3 оновлюється.
Візуалізація даних
Команда HR&A використовувала з’єднувач Redshift від CARTO для підключення до кінцевої точки Redshift Serverless і створювала інформаційні панелі за допомогою інтерфейсу SQL CARTO та віджетів для допомоги у картографуванні під час виконання динамічних обчислень картографічних даних відповідно до потреб клієнта.
Нижче наведено приклади скріншотів інформаційних панелей, які показують відповіді на опитування за поштовим індексом. Округи зі світлішими відтінками представляють обмежену кількість відповідей на опитування, і їх потрібно включити до цільової стратегії збору даних.
Перше зображення показує інформаційну панель без активних фільтрів. Друге зображення показує відфільтровану карту та чати респондентів, які брали участь в опитуванні іспанською мовою. Користувач може вибирати та перемикатися між функціями, натискаючи відповідну категорію на будь-якій гістограмі.
Результат: новий стандарт для автоматичного оновлення панелей цифрового включення
Після розробки першого прототипу інтерактивної інформаційної панелі за цією методологією п’ять державних клієнтів HR&A (CA, TX, NV, CO та MA) виявили інтерес до цього рішення. HR&A вдалося впровадити це для кожного з них протягом 2 місяців — неймовірно швидкий поворот для спеціальної інтерактивної інформаційної панелі цифрового включення.
HR&A також зрозуміли приблизно на 75% скорочення загального часу на розгортання та управління панеллю інструментів, що означало, що команда консультантів могла переключити свою увагу з ручного аналізу даних на допомогу клієнтам у інтерпретації та стратегічному плануванні результатів. Нарешті, зручний інтерфейс інформаційної панелі зробив дані опитування більш доступними для широкого кола зацікавлених сторін. Це допомогло досягти спільного розуміння під час оцінки прогалин у ландшафті цифрового залучення в кожній державі та дозволило розробити цільову стратегію збору даних із регіонів з обмеженою кількістю відповідей на опитування, таким чином підтримуючи більш продуктивну співпрацю в цілому.
Висновок
У цій публікації ми показали, як HR&A вдалося проаналізувати геопросторові дані у великих обсягах за допомогою Amazon Redshift Serverless і CARTO.
Після успішного впровадження HR&A стало очевидним, що Redshift Serverless із його гнучкістю та масштабованістю можна використовувати як каталізатор позитивних соціальних змін. Оскільки HR&A продовжує прокладати шлях до цифрового капіталу, їх історія є свідченням того, як послуги AWS та її партнерів можна використовувати для вирішення реальних проблем.
Ми заохочуємо вас дослідити Redshift Serverless з CARTO для аналізу просторових даних і поділитися своїм досвідом у коментарях.
Про авторів
Харман Сінгх Доді будучи аналітиком у HR&A Advisors, Харман поєднує свою пристрасть до аналізу даних із стійкою інфраструктурою, соціальною інтеграцією, економічною життєздатністю, кліматичною стійкістю та розвитком потенціалу зацікавлених сторін. Робота Harman часто зосереджується на перекладі складних наборів даних у візуальні історії та доступні інструменти, які допомагають громадам зрозуміти виклики, з якими вони стикаються, і створювати рішення для світлого майбутнього.
Кіран Кумар Таті є архітектором аналітичних рішень, який працює в Омахі, штат Небраска. Він спеціалізується на створенні наскрізних аналітичних рішень. Він має понад 13 років досвіду розробки та впровадження великомасштабних рішень Big Data та Analytics. У вільний час він любить грати в крикет і дивитися спортивні змагання.
Сапна Махешварі є старшим архітектором рішень у Amazon Web Services. Вона допомагає клієнтам створювати масштабні рішення для аналізу даних на AWS. Поза роботою вона любить подорожувати та пробувати нові кухні.
Вашим Наваз є архітектором аналітичних рішень в AWS. Понад 15 років він працював над створенням і налаштуванням сховищ даних і озер даних. Він захоплено допомагає клієнтам модернізувати свої платформи даних за допомогою ефективних, ефективних і масштабованих аналітичних рішень. Поза роботою він любить дивитися ігри та подорожувати.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- : має
- :є
- :де
- $UP
- 1
- 120
- 13
- 15 роки
- 15%
- 150
- 29
- 33
- 35%
- a
- Здатний
- МЕНЮ
- доступ
- доступною
- Achieve
- через
- активний
- адреса
- адресація
- просунутий
- радники
- доступний
- ВСІ
- дозволяти
- дозволено
- дозволяє
- майже
- Також
- Amazon
- Amazon Web Services
- американська
- суми
- an
- аналіз
- аналітик
- Аналітичний
- Аналітичний
- аналітика
- аналізувати
- Аналізуючи
- та
- будь-який
- Застосування
- архітектура
- ЕСТЬ
- області
- навколо
- AS
- Оцінювання
- допомогу
- At
- Автоматизований
- автоматизує
- автоматично
- доступний
- AWS
- бар
- заснований
- BE
- було
- перед тим
- між
- Великий
- Великий даних
- яскравіше
- широкосмуговий
- будувати
- Створюємо
- побудований
- бізнес
- бізнес-аналітика
- by
- CA
- CAN
- можливості
- потужність
- Каталізатор
- Категорія
- проблеми
- зміна
- Чарти
- Очищення
- клієнт
- клієнтів
- клімат
- хмара
- CO
- код
- співробітництво
- збір
- Колорадо
- Колони
- поєднання
- комбінати
- коментарі
- спільноти
- повний
- комплекс
- складність
- складається
- комп'ютер
- концепція
- З'єднуватися
- консультування
- консалтинг
- триває
- Відповідний
- рентабельним
- може
- графство
- охоплення
- створювати
- створений
- створює
- крикет
- виготовлений на замовлення
- Клієнти
- Вирізати
- приладова панель
- інформаційні панелі
- дані
- Analytics даних
- Озеро даних
- візуалізація даних
- сховище даних
- набори даних
- Визначення
- доставляти
- розгортання
- проектування
- деталь
- деталі
- розвиненою
- розвивається
- розробка
- цифровий
- цифровий світ
- обговорювати
- ділити
- do
- Не знаю
- вниз
- під час
- динамічний
- кожен
- легко
- Економічний
- фактично
- ефективний
- продуктивно
- уповноважувати
- дозволяє
- заохочувати
- кінець в кінець
- Кінцева точка
- забезпечення
- Навколишнє середовище
- капітал
- Ефір (ETH)
- оцінювати
- НІКОЛИ
- очевидний
- існуючий
- досвід
- дослідити
- продовжити
- обширний
- зовнішній
- витяг
- фасилітувати
- облицювання
- риси
- Рисунок
- філе
- Файли
- заповнювати
- Фільтри
- в кінці кінців
- результати
- Перший
- п'ять
- Гнучкість
- Сфокусувати
- фокусується
- після
- для
- форма
- від
- повністю
- функція
- функціональність
- Функції
- Крім того
- майбутнє
- Майбутнє роботи
- Games
- прогалини
- геометрія
- отримати
- Цілі
- значно
- Мати
- he
- допомога
- допоміг
- допомогу
- допомагає
- тут
- його
- історично
- Головна
- будинок
- домашні господарства
- Як
- HTML
- HTTP
- HTTPS
- Сотні
- ілюструють
- зображення
- вплив
- здійснювати
- реалізація
- реалізації
- in
- включати
- включені
- включення
- все більше і більше
- неймовірно
- Інфраструктура
- інтегрувати
- інтеграція
- Інтелект
- взаємодіючих
- інтерактивний
- інтерес
- інтерфейс
- інтернет
- Доступ в інтернет
- в
- IT
- ЙОГО
- Джобс
- приєднатися
- JPG
- Знати
- відомий
- Кумар
- озеро
- ландшафт
- мова
- великий
- догляд
- дозволяти
- легше
- як
- обмеженою
- жити
- загрузка
- місцевий
- локально
- розташування
- made
- управління
- менеджер
- вручну
- карта
- відображення
- означав
- вимір
- вимір
- Melanie
- метадані
- Методологія
- мільйони
- дзеркало
- модернізувати
- Модулі
- більше
- найбільш
- мультидисциплінарний
- множинний
- муніципальний
- ім'я
- рідний
- ne
- необхідності
- Необхідність
- потреби
- Нові
- NV
- of
- пропонувати
- Office
- часто
- Омаха
- on
- ONE
- or
- Організований
- наші
- з
- поза
- над
- загальний
- параметри
- частина
- брати участь
- партнери
- пристрасть
- пристрасний
- прокладати
- для
- виконанні
- фаза
- картина
- місце
- план
- плани
- Платформи
- plato
- Інформація про дані Платона
- PlatoData
- ігри
- популяції
- позитивний
- пошта
- Харчування
- практики
- приватний
- процедура
- Процедури
- процес
- продуктивний
- доказ
- доказ концепції
- прототип
- за умови
- Швидко
- швидко
- діапазон
- Сировина
- необроблені дані
- досягати
- легко
- Реальний світ
- зрозумів,
- отримує
- переадресовувати
- скорочення
- райони
- пов'язаний
- Сховище
- представляти
- ті
- респонденти
- відповіді
- результат
- призвело до
- результати
- міцний
- Правила
- прогін
- пробіжки
- то ж
- say
- масштабованість
- масштабовані
- шкала
- скріншоти
- другий
- розділам
- безпечно
- Шукати
- вибрати
- Без сервера
- Послуги
- комплект
- Форма
- загальні
- вона
- Показувати
- показав
- Шоу
- істотно
- простий
- соціальна
- Соціальні зміни
- суспільство
- рішення
- Рішення
- Джерела
- Простір
- іспанська
- просторовий
- спеціаліст
- спеціалізується
- конкретний
- розкол
- SPORTS
- SQL
- зацікавлені сторони
- зацікавлених сторін
- standard
- стенди
- стан
- Штати
- Крок
- заходи
- Як і раніше
- зберігання
- зберігати
- зберігати
- історії
- Історія
- Стратегічно
- Стратегія
- структур
- успішний
- такі
- достатній
- Підтриманий
- Підтримуючий
- Огляд
- сталого
- таблиця
- з урахуванням
- приймає
- Мета
- цільове
- команда
- технічний
- заповіт
- ніж
- Що
- Команда
- Майбутнє
- Майбутнє роботи
- Держава
- їх
- Їх
- Там.
- тим самим
- Ці
- вони
- це
- ті
- через
- час
- times
- до
- прийняли
- інструмент
- Інструменти
- Інструментарій
- інструменти
- Перетворення
- Перетворення
- перетворень
- Подорож
- правда
- намагається
- TX
- тип
- розуміти
- розуміння
- невідомий
- оновлений
- оновлення
- us
- Держав США
- використовуваний
- користувач
- зручно
- використовує
- використання
- різний
- дуже
- життєздатності
- Віртуальний
- візуальний
- візуалізації
- життєво важливий
- Обсяги
- Склад
- було
- спостереження
- шлях..
- we
- Web
- веб-сервіси
- добре відомі
- були
- Що
- коли
- який
- в той час як
- ВООЗ
- широкий
- ширше
- Вікіпедія
- з
- в
- без
- Work
- працював
- робочий
- світ
- років
- ще
- ви
- вашу
- зефірнет
- Zip
- зум