W naszym coraz bardziej cyfrowym świecie niedrogi dostęp do szybkiego łącza szerokopasmowego jest koniecznością, aby w pełni uczestniczyć w społeczeństwie, a mimo to miliony amerykańskich gospodarstw domowych nadal nie mają dostępu do Internetu. Doradcy HR&A— wielodyscyplinarna firma konsultingowa prowadząca szeroko zakrojoną działalność w obszarze łączy szerokopasmowych i przestrzeni cyfrowej pomaga swoim klientom na szczeblu stanowym, powiatowym i miejskim zapewniać niedrogi dostęp do Internetu, analizując specyficzne lokalnie potrzeby w zakresie włączenia cyfrowego i tworząc dostosowane do indywidualnych potrzeb plany kapitału cyfrowego.
Pierwszym krokiem w tym procesie jest mapowanie przepaści cyfrowej. Które gospodarstwa domowe nie mają w domu dostępu do Internetu? Gdzie oni żyją? Jakie są ich konkretne potrzeby?
Publiczne źródła danych nie są wystarczające do budowania prawdziwego zrozumienia potrzeb włączenia cyfrowego. Aby wypełnić luki w istniejących danych, dział HR&A tworzy ankiety dotyczące kapitału cyfrowego, aby uzyskać pełniejszy obraz przed opracowaniem planów kapitału cyfrowego. Dział HR&A wykorzystał Bezserwerowe Amazon Redshift i PAPIER aby efektywniej przetwarzać wyniki ankiet i tworzyć niestandardowe interaktywne dashboardy ułatwiające zrozumienie wyników. Współpraca HR&A z Amazonka Przesunięcie ku czerwieni i CARTO zaowocowały o 75% skróceniem ogólnego czasu wdrażania i zarządzania pulpitem nawigacyjnym oraz pomogły zespołowi osiągnąć następujące cele techniczne:
- Załaduj wyniki ankiety (pliki CSV) i dane geometryczne (pliki kształtów) do hurtowni danych
- Wykonuj transformacje geoprzestrzenne, korzystając z zadań wyodrębniania, przekształcania i ładowania (ELT), aby łączyć dane geometryczne z wynikami pomiarów w hurtowni danych, aby umożliwić wizualizację wyników badań na mapie
- Zintegruj się z narzędziem Business Intelligence (BI) w celu uzyskania zaawansowanych funkcji geoprzestrzennych, wizualizacji i dashboardów mapowych
- Skaluj pojemność hurtowni danych w górę lub w dół, aby w ekonomiczny sposób sprostać obciążeniom o różnym stopniu złożoności
W tym poście opisujemy, w jaki sposób dział HR&A wykorzystuje analitykę przestrzenną Amazon Redshift i CARTO do opłacalnych geoprzestrzennych pomiarów włączenia cyfrowego i dostępu do Internetu w wielu stanach USA.
Zanim przejdziemy do szczegółów architektury, oto co dział HR&A i jego klient, Biuro Przyszłości Pracy w Kolorado, mają do powiedzenia na temat tego rozwiązania.
„Współpracując z zespołem HR&A Advisors, zespół Digital Equity w Kolorado stworzył niestandardowy pulpit nawigacyjny, który pozwolił nam bardzo skutecznie ocenić nasz zasięg podczas badania historycznie marginalizowanych populacji w Kolorado. To dynamiczne narzędzie, oparte na platformach AWS i CARTO, dostarczyło solidnych wizualizacji tego, które regiony i populacje wchodziły w interakcję z naszą ankietą, co umożliwiło nam szybkie powiększanie zakresu i eliminowanie luk w zasięgu. Zapewnienie możliwości wyszukiwania danych od osób najbardziej dotkniętych przepaścią cyfrową w Kolorado miało kluczowe znaczenie dla rozwiązania problemu nierówności cyfrowych w naszym stanie”.
— Melanie Colletti, menedżer ds. kapitału cyfrowego w biurze ds. przyszłości pracy w Kolorado
„AWS pozwala nam bezpiecznie przechowywać wszystkie dane z naszych ankiet w jednym miejscu, szybko je przeglądać i analizować w Amazon Redshift oraz odzwierciedlać wyniki poprzez integrację z narzędziami do wizualizacji danych, takimi jak CARTO, bez konieczności opuszczania danych AWS. Zwalnia to miejsce na naszym lokalnym komputerze, znacznie automatyzuje etap czyszczenia i analizy ankiet oraz umożliwia naszym klientom łatwy dostęp do wyników danych. Po sprawdzeniu koncepcji i opracowaniu pierwszego prototypu prawie wszyscy nasi klienci państwowi wykazali zainteresowanie zastosowaniem tego samego rozwiązania w swoich stanach.”
— Harman Singh Dhodi, analityk w HR&A Advisors, Inc.
Przechowywanie i analizowanie dużych zbiorów danych ankietowych
Dział HR&A wykorzystał Redshift Serverless do przechowywania dużych ilości danych dotyczących włączenia cyfrowego w jednym miejscu oraz szybkiego przekształcania i analizowania ich przy użyciu zestawu narzędzi analitycznych CARTO w celu rozszerzenia możliwości przestrzennych Amazon Redshift i integracji z narzędziami do wizualizacji danych CARTO – a wszystko to bez opuszczania danych ze środowiska AWS . To znacznie skraca czas realizacji analiz.
Połączenia Zestaw narzędzi analitycznych CARTO do przesunięcia ku czerwieni składa się z zestawu zdefiniowanych przez użytkownika funkcji i procedur zorganizowanych w zestaw modułów w oparciu o oferowaną przez nie funkcjonalność.
Poniższy rysunek przedstawia rozwiązanie i etapy przepływu pracy opracowane podczas weryfikacji koncepcji z wykorzystaniem wirtualnej chmury prywatnej (VPC) w serwisie Amazon Redshift.
W poniższych sekcjach bardziej szczegółowo omawiamy każdą fazę przepływu pracy.
Pozyskiwanie danych
Dział HR&A otrzymuje dane z ankiet w postaci szerokich plików CSV zawierających setki kolumn w każdym pliku i powiązane dane przestrzenne w formacie szesnastkowym Rozszerzony dobrze znany plik binarny (EWKB) w postaci plików kształtu. Pliki te są przechowywane w Usługa Amazon Simple Storage (Amazonka S3).
Połączenia Polecenie KOPIUJ z przesunięciem ku czerwieni służy do pozyskiwania danych przestrzennych z plików kształtu do natywnego typu danych GEOMETRY obsługiwanego przez Amazon Redshift. Kombinacją Widmo przesunięcia ku czerwieni Amazonki i COPY służą do pozyskiwania danych ankiety przechowywanych w postaci plików CSV. W przypadku plików o nieznanej strukturze należy Klej AWS roboty służą do wyodrębniania metadanych i tworzenia definicji tabel w formacie Katalog danych. Te definicje tabel są używane jako repozytorium metadanych dla tabel zewnętrznych w Amazon Redshift.
W przypadku plików o znanych strukturach używana jest procedura składowana Redshift, która przyjmuje lokalizację pliku i nazwę tabeli jako parametry i uruchamia polecenie COPY w celu załadowania nieprzetworzonych danych do odpowiednich tabel Redshift.
Transformacja danych
Do dzielenia danych z tabeli surowej i ładowania ich do odpowiednich tabel docelowych stosuje się wiele procedur składowanych, stosując przekształcenia zdefiniowane przez użytkownika.
Te zasady transformacji obejmują transformację danych GEOMETRII przy użyciu natywnych Funkcje geoprzestrzenne z przesunięciem ku czerwieni, lubić ST_Obszar i ST_długośći CARTO zaawansowane funkcje przestrzenne, które są łatwo dostępne w Amazon Redshift jako część zestawu narzędzi CARTO Analytics Toolbox dla Redshift instalacja. Co więcej, wszystkie etapy pozyskiwania i przekształcania danych są zautomatyzowane przy użyciu narzędzia AWS Lambda funkcja uruchamiająca zapytanie Redshift, gdy dowolny zbiór danych w Amazon S3 zostanie zaktualizowany.
Wizualizacja danych
Zespół HR&A wykorzystał złącze CARTO Redshift do połączenia się z punktem końcowym Redshift Serverless i zbudował pulpity nawigacyjne przy użyciu interfejsu SQL i widżetów CARTO, aby pomóc w mapowaniu podczas wykonywania dynamicznych obliczeń danych mapy zgodnie z potrzebami klienta.
Poniżej znajdują się przykładowe zrzuty ekranu pulpitów nawigacyjnych, które pokazują odpowiedzi na ankietę według kodu pocztowego. Okręgi zaznaczone jaśniejszymi odcieniami reprezentują ograniczone odpowiedzi w ankiecie i należy je uwzględnić w ukierunkowanej strategii gromadzenia danych.
Pierwszy obraz przedstawia dashboard bez aktywnych filtrów. Drugi obraz przedstawia przefiltrowaną mapę i czaty respondentów, którzy wzięli udział w ankiecie w języku hiszpańskim. Użytkownik może wybierać i przełączać się między funkcjami, klikając odpowiednią kategorię na dowolnym wykresie słupkowym.
Rezultat: nowy standard automatycznej aktualizacji dashboardów włączenia cyfrowego
Po opracowaniu pierwszego prototypu interaktywnego pulpitu nawigacyjnego przy użyciu tej metodologii pięciu klientów HR&A ze stanu (CA, TX, NV, CO i MA) wykazało zainteresowanie rozwiązaniem. Dział HR&A był w stanie wdrożyć to u każdego z nich w ciągu 2 miesięcy – co stanowiło niezwykle szybki czas realizacji niestandardowego, interaktywnego dashboardu włączenia cyfrowego.
Dział HR&A zauważył również, że ogólny czas wdrożenia i zarządzania panelem kontrolnym został skrócony o 75%, co oznaczało, że zespół konsultingowy mógł przekierować swoją uwagę z ręcznej analizy danych na pomoc klientom w interpretacji wyników i strategicznym planowaniu. Wreszcie przyjazny interfejs użytkownika pulpitu nawigacyjnego sprawił, że dane z ankiet stały się bardziej dostępne dla szerszego grona interesariuszy. Pomogło to w budowaniu wspólnego zrozumienia podczas oceny luk w krajobrazie włączenia cyfrowego każdego stanu i umożliwiło opracowanie ukierunkowanej strategii gromadzenia danych z obszarów o ograniczonej liczbie odpowiedzi w ankietach, wspierając w ten sposób ogólnie bardziej produktywną współpracę.
Wnioski
W tym poście pokazaliśmy, jak HR&A był w stanie analizować duże ilości danych geoprzestrzennych przy użyciu Amazon Redshift Serverless i CARTO.
Dzięki pomyślnemu wdrożeniu HR&A oczywiste jest, że Redshift Serverless, dzięki swojej elastyczności i skalowalności, może zostać wykorzystany jako katalizator pozytywnych zmian społecznych. Ponieważ HR&A w dalszym ciągu toruje drogę cyfrowej równości, ich historia stanowi świadectwo tego, w jaki sposób usługi AWS i jej partnerów mogą zostać wykorzystane w stawianiu czoła wyzwaniom świata rzeczywistego.
Zachęcamy do wypróbowania Redshift Serverless z CARTO do analizy danych przestrzennych i podzielenia się z nami swoimi doświadczeniami w komentarzach.
O autorach
Harmana Singha Dhodiego jest analitykiem w HR&A Advisors. Harman łączy swoją pasję do analityki danych z praktykami w zakresie zrównoważonej infrastruktury, włączeniem społecznym, rentownością ekonomiczną, odpornością na zmiany klimatyczne i budowaniem potencjału interesariuszy. Praca Harmana często koncentruje się na tłumaczeniu złożonych zbiorów danych na wizualne historie i dostępne narzędzia, które pomagają społecznościom zrozumieć stojące przed nimi wyzwania i tworzyć rozwiązania na lepszą przyszłość.
Kiran Kumar Tati jest architektem rozwiązań specjalisty ds. analityki z siedzibą w Omaha, NE. Specjalizuje się w budowaniu kompleksowych rozwiązań analitycznych. Posiada ponad 13-letnie doświadczenie w projektowaniu i wdrażaniu wielkoskalowych rozwiązań Big Data i Analytics. W wolnym czasie lubi grać w krykieta i oglądać mecze sportowe.
Sapna Maheshwari jest starszym architektem rozwiązań w Amazon Web Services. Pomaga klientom projektować rozwiązania do analizy danych na dużą skalę w AWS. Poza pracą lubi podróżować i próbować nowych kuchni.
Washima Nawaza jest specjalistą ds. rozwiązań analitycznych w AWS. Od ponad 15 lat zajmuje się budowaniem i dostrajaniem rozwiązań hurtowni danych i jezior danych. Jego pasją jest pomaganie klientom w modernizacji platform danych za pomocą wydajnych, wydajnych i skalowalnych rozwiązań analitycznych. Poza pracą lubi oglądać mecze i podróżować.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- :ma
- :Jest
- :Gdzie
- $W GÓRĘ
- 1
- 120
- 13
- 15 roku
- 15%
- 150
- 29
- 33
- 35%
- a
- Zdolny
- O nas
- dostęp
- dostępny
- Osiągać
- w poprzek
- aktywny
- adres
- adresowanie
- zaawansowany
- doradcy
- przystępne
- Wszystkie kategorie
- dopuszczać
- dozwolony
- pozwala
- prawie
- również
- Amazonka
- Amazon Web Services
- amerykański
- kwoty
- an
- analiza
- analityk
- Analityczny
- Analityczny
- analityka
- w czasie rzeczywistym sprawiają,
- Analizując
- i
- każdy
- Stosowanie
- architektura
- SĄ
- obszary
- na około
- AS
- oceniając
- pomagać
- At
- zautomatyzowane
- automaty
- automatycznie
- dostępny
- AWS
- bar
- na podstawie
- BE
- być
- zanim
- pomiędzy
- Duży
- Big Data
- jaśniejsze
- szerokopasmowych
- budować
- Budowanie
- wybudowany
- biznes
- business intelligence
- by
- CA
- CAN
- możliwości
- Pojemność
- Katalizator
- Kategoria
- wyzwania
- zmiana
- Wykresy
- Sprzątanie
- klient
- klientów
- Klimat
- Chmura
- CO
- kod
- współpraca
- kolekcja
- Kolorado
- kolumny
- połączenie
- kombajny
- komentarze
- społeczności
- kompletny
- kompleks
- kompleksowość
- w składzie
- komputer
- pojęcie
- Skontaktuj się
- doradztwo
- consulting
- ciągły
- Odpowiedni
- opłacalne
- mógłby
- hrabstwo
- pokrycie
- Stwórz
- stworzony
- tworzy
- krykiet
- zwyczaj
- Klientów
- Ciąć
- tablica rozdzielcza
- Deski rozdzielcze
- dane
- Analityka danych
- Jezioro danych
- Wizualizacja danych
- hurtownia danych
- zbiory danych
- definicje
- dostarczyć
- Wdrożenie
- projektowanie
- detal
- detale
- rozwinięty
- rozwijanie
- oprogramowania
- cyfrowy
- cyfrowy świat
- dyskutować
- podzielić
- do
- nie
- na dół
- podczas
- dynamiczny
- każdy
- z łatwością
- Gospodarczy
- faktycznie
- wydajny
- skutecznie
- upoważniać
- umożliwiając
- zachęcać
- koniec końców
- Punkt końcowy
- zapewnienie
- Środowisko
- sprawiedliwość
- Eter (ETH)
- oceniać
- EVER
- oczywisty
- Przede wszystkim system został opracowany
- doświadczenie
- odkryj
- rozciągać się
- rozległy
- zewnętrzny
- wyciąg
- ułatwiać
- okładzina
- Korzyści
- Postać
- filet
- Akta
- wypełniać
- filtry
- W końcu
- Ustalenia
- i terminów, a
- pięć
- Elastyczność
- Skupiać
- koncentruje
- następujący
- W razie zamówieenia projektu
- Nasz formularz
- od
- w pełni
- funkcjonować
- Funkcjonalność
- Funkcje
- Ponadto
- przyszłość
- Przyszłość pracy
- Games
- luki
- geometria
- otrzymać
- Gole
- bardzo
- Have
- he
- pomoc
- pomógł
- pomoc
- pomaga
- tutaj
- jego
- historycznie
- Strona główna
- dom
- gospodarstw domowych
- W jaki sposób
- HTML
- http
- HTTPS
- Setki
- ilustrujące
- obraz
- wpływ
- wdrożenia
- realizacja
- wykonawczych
- in
- zawierać
- włączony
- włączenie
- coraz bardziej
- niewiarygodnie
- Infrastruktura
- integrować
- integracja
- Inteligencja
- interakcji
- interaktywne
- odsetki
- Interfejs
- Internet
- dostęp do Internetu
- najnowszych
- IT
- JEGO
- Oferty pracy
- przystąpić
- jpg
- Wiedzieć
- znany
- Kumar
- jezioro
- krajobraz
- język
- duży
- pozostawiając
- niech
- zapalniczka
- lubić
- Ograniczony
- relacja na żywo
- załadować
- miejscowy
- lokalnie
- lokalizacja
- zrobiony
- i konserwacjami
- kierownik
- ręcznie
- mapa
- mapowanie
- Oznaczało
- zmierzyć
- pomiary
- melanie
- Metadane
- Metodologia
- miliony
- lustro
- zmodernizować
- Moduły
- jeszcze
- większość
- multidyscyplinarny
- wielokrotność
- miejski
- Nazwa
- rodzimy
- ne
- konieczność
- Potrzebować
- wymagania
- Nowości
- NV
- of
- oferta
- Biurowe
- często
- Omaha
- on
- ONE
- or
- Zorganizowany
- ludzkiej,
- na zewnątrz
- zewnętrzne
- koniec
- ogólny
- parametry
- część
- uczestniczyć
- wzmacniacz
- pasja
- namiętny
- wybrukować
- dla
- wykonywania
- faza
- obraz
- Miejsce
- krok po kroku
- plany
- Platformy
- plato
- Analiza danych Platona
- PlatoDane
- gra
- populacje
- pozytywny
- Post
- powered
- praktyki
- prywatny
- procedura
- procedury
- wygląda tak
- produktywny
- dowód
- dowód koncepcji
- prototyp
- pod warunkiem,
- Szybki
- szybko
- zasięg
- Surowy
- surowe dane
- dosięgnąć
- łatwo
- Prawdziwy świat
- realizowany
- otrzymuje
- przekierowanie
- redukcja
- regiony
- związane z
- składnica
- reprezentować
- osób
- respondenci
- Odpowiedzi
- dalsze
- wynikał
- Efekt
- krzepki
- reguły
- run
- działa
- taki sam
- powiedzieć
- Skalowalność
- skalowalny
- Skala
- screeny
- druga
- działy
- bezpiecznie
- Szukajcie
- wybierać
- Bezserwerowe
- Usługi
- zestaw
- Shape
- shared
- ona
- pokazać
- pokazał
- Targi
- znacznie
- Prosty
- Obserwuj Nas
- Zmiana społeczna
- Społeczeństwo
- rozwiązanie
- Rozwiązania
- Źródła
- Typ przestrzeni
- hiszpański
- Przestrzenne
- specjalista
- specjalizuje się
- specyficzny
- dzielić
- SPORTOWE
- SQL
- interesariuszy
- interesariusze
- standard
- stojaki
- Stan
- Zjednoczone
- Ewolucja krok po kroku
- Cel
- Nadal
- przechowywanie
- sklep
- przechowywany
- historie
- Historia
- Strategicznie
- Strategia
- Struktury
- udany
- taki
- wystarczający
- Utrzymany
- Wspierający
- Badanie
- zrównoważone
- stół
- dostosowane
- trwa
- cel
- ukierunkowane
- zespół
- Techniczny
- testament
- niż
- że
- Połączenia
- Przyszłość
- Przyszłość pracy
- Państwo
- ich
- Im
- Tam.
- a tym samym
- Te
- one
- to
- tych
- Przez
- czas
- czasy
- do
- wziął
- narzędzie
- Toolbox
- Zestaw narzędzi
- narzędzia
- Przekształcać
- Transformacja
- przemiany
- Podróżowanie
- prawdziwy
- stara
- TX
- rodzaj
- zrozumieć
- zrozumienie
- nieznany
- zaktualizowane
- aktualizowanie
- us
- Stany Zjednoczone
- używany
- Użytkownik
- łatwy w obsłudze
- zastosowania
- za pomocą
- zmienne
- początku.
- zdolność do życia
- Wirtualny
- wizualny
- wyobrażanie sobie
- istotny
- kłęby
- Magazyn
- była
- oglądania
- Droga..
- we
- sieć
- usługi internetowe
- znane
- były
- Co
- jeśli chodzi o komunikację i motywację
- który
- Podczas
- KIM
- szeroki
- szerszy
- Wikipedia
- w
- w ciągu
- bez
- Praca
- pracował
- workflow
- świat
- lat
- jeszcze
- ty
- Twój
- zefirnet
- Zamek błyskawiczny
- zoom