I vår alltmer digitala värld är prisvärd tillgång till höghastighetsbredband en nödvändighet för att fullt ut kunna delta i vårt samhälle, men det finns fortfarande miljontals amerikanska hushåll utan tillgång till internet. HR&A rådgivare— Ett multidisciplinärt konsultföretag med omfattande arbete inom bredband och digitalt aktiebolag hjälper sina statliga, länsmässiga och kommunala kunder att leverera prisvärd internetåtkomst genom att analysera lokalt specifika behov av digital inkludering och bygga skräddarsydda digitala aktieplaner.
Det första steget i denna process är att kartlägga den digitala klyftan. Vilka hushåll har inte tillgång till internet hemma? Vart bor dem? Vilka är deras specifika behov?
Offentliga datakällor är inte tillräckliga för att skapa en verklig förståelse för digitala integrationsbehov. För att fylla i luckorna i befintliga data skapar HR&A digitala aktieundersökningar för att bygga en mer komplett bild innan man utvecklar digitala aktieplaner. HR&A har använt Amazon Redshift Serverlös och PAPPER att bearbeta enkätresultaten mer effektivt och skapa anpassade interaktiva instrumentpaneler för att underlätta förståelsen av resultaten. HR&A:s samarbete med Amazon RedShift och CARTO har resulterat i en 75 % minskning av den totala driftsättningen och hanteringstiden för instrumentpanelen och hjälpt teamet att uppnå följande tekniska mål:
- Ladda undersökningsresultat (CSV-filer) och geometridata (formfiler) i ett datalager
- Utför geospatiala transformationer med hjälp av extrahera, transformera och ladda (ELT) jobb för att sammanfoga geometridata med undersökningsresultat inom datalagret för att möjliggöra visualisering av undersökningsresultat på en karta
- Integrera med ett Business Intelligence (BI)-verktyg för avancerade geospatiala funktioner, visualiseringar och kartläggningsinstrumentpaneler
- Skala upp eller ner datalagerkapaciteten för att hantera arbetsbelastningar av varierande komplexitet på ett kostnadseffektivt sätt
I det här inlägget packar vi upp hur HR&A använder Amazon Redshift spatial analytics och CARTO för kostnadseffektiv geospatial mätning av digital inkludering och internetåtkomst i flera amerikanska delstater.
Innan vi kommer till detaljerna i arkitekturen, här är vad HR&A och dess klient, Colorados Office of the Future of Work, har att säga om lösningen.
"I samarbete med teamet på HR&A Advisors skapade Colorados Digital Equity Team en anpassad instrumentpanel som gjorde det möjligt för oss att mycket effektivt utvärdera vår räckvidd samtidigt som vi kartlade historiskt marginaliserade befolkningar i Colorado. Detta dynamiska verktyg, som drivs av AWS och CARTO, gav robusta visualiseringar av vilka regioner och befolkningar som interagerade med vår undersökning, vilket gjorde det möjligt för oss att zooma in snabbt och åtgärda luckor i täckning. Att säkerställa att vi kunde söka information från dem som är mest påverkade av den digitala klyftan i Colorado har varit avgörande för att komma till rätta med digitala orättvisor i vår stat."
— Melanie Colletti, Digital Equity Manager på Colorados Office of the Future of Work
"AWS tillåter oss att säkert lagra all vår enkätdata på ett ställe, snabbt skrubba och analysera den på Amazon Redshift och spegla resultaten genom integration med datavisualiseringsverktyg som CARTO utan att data någonsin lämnar AWS. Detta frigör vårt lokala datorutrymme, automatiserar avsevärt rensnings- och analyssteget för enkäter och tillåter våra kunder att enkelt komma åt dataresultaten. Efter proof of concept och utveckling av den första prototypen visade nästan alla våra statliga kunder intresse för att använda samma lösning för sina stater.”
— Harman Singh Dhodi, analytiker på HR&A Advisors, Inc.
Lagring och analys av stora undersökningsdatauppsättningar
HR&A använde Redshift Serverless för att lagra stora mängder digital inkluderingsdata på ett ställe och snabbt transformera och analysera den med hjälp av CARTOs analytiska verktygslåda för att utöka de rumsliga funktionerna hos Amazon Redshift och integrera med CARTOs datavisualiseringsverktyg – allt utan att data någonsin lämnar AWS-miljön . Detta minskade avsevärt de analytiska omloppstiderna.
Smakämnen CARTO Analytics Toolbox för Redshift består av en uppsättning användardefinierade funktioner och procedurer organiserade i en uppsättning moduler baserat på den funktionalitet de erbjuder.
Följande figur visar lösningen och arbetsflödesstegen som utvecklades under proof of concept med ett virtuellt privat moln (VPC) på Amazon Redshift.
I de följande avsnitten diskuterar vi varje fas i arbetsflödet mer i detalj.
Upptagning av data
HR&A tar emot undersökningsdata som breda CSV-filer med hundratals kolumner i varje fil och relaterad rumslig data i hexadecimal Utökad välkänd binär (EWKB) i form av formfiler. Dessa filer lagras i Amazon enkel lagringstjänst (Amazon S3).
Smakämnen Redshift COPY-kommandot används för att mata in rumslig data från formfiler till den inbyggda GEOMETRY-datatypen som stöds i Amazon Redshift. En kombination av Amazon Redshift Spectrum och COPY-kommandon används för att mata in undersökningsdata lagrade som CSV-filer. För filer med okända strukturer, AWS-lim Crawlers används för att extrahera metadata och skapa tabelldefinitioner i Datakatalog. Dessa tabelldefinitioner används som metadatalager för externa tabeller i Amazon Redshift.
För filer med kända strukturer används en lagrad Redshift-procedur, som tar filplatsen och tabellnamnet som parametrar och kör ett COPY-kommando för att ladda rådata till motsvarande Redshift-tabeller.
Datatransformation
Flera lagrade procedurer används för att dela upp råtabelldata och ladda den i motsvarande måltabeller samtidigt som de användardefinierade transformationerna tillämpas.
Dessa transformationsregler inkluderar transformation av GEOMETRY-data med hjälp av native Redshift geo-spatiala funktioner, tycka om ST_Area och ST_längd, och CARTO's avancerade rumsliga funktioner, som är lätt tillgängliga i Amazon Redshift som en del av CARTO Analytics Toolbox for Redshift Installationen. Dessutom automatiseras alla dataintag och transformationssteg med hjälp av en AWS Lambda funktion för att köra Redshift-frågan när någon datauppsättning i Amazon S3 uppdateras.
Datavisualisering
HR&A-teamet använde CARTOs Redshift-kontakt för att ansluta till den Redshift Serverless-slutpunkten och byggde instrumentpaneler med CARTOs SQL-gränssnitt och widgets för att hjälpa kartläggningen samtidigt som de utförde dynamiska beräkningar av kartdata enligt kundens behov.
Följande är exempel på skärmdumpar av instrumentpanelerna som visar enkätsvar efter postnummer. De län som är i ljusare nyanser representerar begränsade enkätsvar och behöver inkluderas i den riktade datainsamlingsstrategin.
Den första bilden visar instrumentpanelen utan några aktiva filter. Den andra bilden visar filtrerade kartor och chattar av respondenter som svarade på undersökningen på spanska. Användaren kan välja och växla mellan funktioner genom att klicka på respektive kategori i något av stapeldiagrammen.
Resultatet: En ny standard för automatisk uppdatering av instrumentpaneler för digital inkludering
Efter att ha utvecklat den första interaktiva instrumentpanelsprototypen med denna metod, visade fem av HR&A:s statliga kunder (CA, TX, NV, CO och MA) intresse för lösningen. HR&A kunde implementera det för var och en av dem inom två månader – en otroligt snabb vändning för en anpassad, interaktiv instrumentpanel för digital inkludering.
HR&A insåg också en minskning med 75 % av den totala driftsättningen och hanteringstiden för instrumentpanelen, vilket innebar att konsultteamet kunde omdirigera sitt fokus från att manuellt analysera data till att hjälpa kunder att tolka och strategiskt planera runt resultaten. Slutligen gjorde instrumentpanelens användarvänliga gränssnitt enkätdata mer tillgängligt för ett bredare spektrum av intressenter. Detta hjälpte till att bygga upp en delad förståelse vid bedömning av luckor i varje stats digitala integrationslandskap och möjliggjorde en målinriktad datainsamlingsstrategi från områden med begränsade enkätsvar, vilket stödde mer produktivt samarbete överlag.
Slutsats
I det här inlägget visade vi hur HR&A kunde analysera geo-spatial data i stora volymer med Amazon Redshift Serverless och CARTO.
Med HR&A:s framgångsrika implementering är det uppenbart att Redshift Serverless, med sin flexibilitet och skalbarhet, kan användas som en katalysator för positiv social förändring. När HR&A fortsätter att bana väg för digitalt kapital, står deras berättelse som ett bevis på hur AWS-tjänster och dess partners kan användas för att möta verkliga utmaningar.
Vi uppmuntrar dig att utforska Redshift Serverless med CARTO för att analysera rumslig data och låt oss veta din upplevelse i kommentarerna.
Om författarna
Harman Singh Dhodi är en analytiker på HR&A Advisors, kombinerar Harman sin passion för dataanalys med hållbar infrastruktur, social inkludering, ekonomisk bärkraft, klimattålighet och att bygga kapacitet för intressenter. Harmans arbete fokuserar ofta på att översätta komplexa datauppsättningar till visuella berättelser och tillgängliga verktyg som hjälper gemenskaper att förstå de utmaningar de står inför och skapa lösningar för en ljusare framtid.
Kiran Kumar Tati är en Analytics Specialist Solutions Architect baserad i Omaha, NE. Han är specialiserad på att bygga end-to-end analytiska lösningar. Han har mer än 13 års erfarenhet av att designa och implementera storskaliga Big Data och Analytics-lösningar. På fritiden tycker han om att spela cricket och titta på sport.
Sapna Maheshwari är Sr. Solutions Architect på Amazon Web Services. Hon hjälper kunder att bygga dataanalyslösningar i stor skala på AWS. Utanför jobbet tycker hon om att resa och prova nya kök.
Washim Nawaz är en Analytics Specialist Solutions Architect på AWS. Han har arbetat med att bygga och finjustera datalager- och datasjölösningar i över 15 år. Han brinner för att hjälpa kunder att modernisera sina dataplattformar med effektiva, prestanda och skalbara analytiska lösningar. Utanför jobbet tycker han om att titta på spel och att resa.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
- Källa: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- : har
- :är
- :var
- $UPP
- 1
- 120
- 13
- 15 år
- 15%
- 150
- 29
- 33
- 35%
- a
- Able
- Om Oss
- tillgång
- tillgänglig
- Uppnå
- tvärs
- aktiv
- adress
- adresse
- avancerat
- rådgivare
- prisvärd
- Alla
- tillåter
- tillåts
- tillåter
- nästan
- också
- amason
- Amazon Web Services
- amerikan
- mängder
- an
- analys
- analytiker
- Analytisk
- Analytisk
- analytics
- analysera
- analys
- och
- vilken som helst
- Tillämpa
- arkitektur
- ÄR
- områden
- runt
- AS
- bedöma
- bistå
- At
- Automatiserad
- automatiserar
- automatiskt
- tillgänglig
- AWS
- bar
- baserat
- BE
- varit
- innan
- mellan
- Stor
- Stora data
- ljusare
- bredband
- SLUTRESULTAT
- Byggnad
- byggt
- företag
- business intelligence
- by
- CA
- KAN
- kapacitet
- Kapacitet
- Katalysator
- Kategori
- utmaningar
- byta
- Diagram
- Rengöring
- klient
- klienter
- Klimat
- cloud
- CO
- koda
- samverkan
- samling
- Colorado
- Kolonner
- kombination
- kombinerar
- kommentarer
- samhällen
- fullborda
- komplex
- Komplexiteten
- sammansatt
- dator
- begrepp
- Kontakta
- konsult
- rådgivning
- fortsätter
- Motsvarande
- kostnadseffektiv
- kunde
- län
- täckning
- skapa
- skapas
- skapar
- kricket
- beställnings
- Kunder
- Klipp
- instrumentbräda
- instrumentpaneler
- datum
- Data Analytics
- datasjö
- datavisualisering
- datalagret
- datauppsättningar
- definitioner
- leverera
- utplacering
- design
- detalj
- detaljer
- utvecklade
- utveckla
- Utveckling
- digital
- digital värld
- diskutera
- dela
- do
- inte
- ner
- under
- dynamisk
- varje
- lätt
- Ekonomisk
- effektivt
- effektiv
- effektivt
- ge
- möjliggör
- uppmuntra
- början till slut
- Slutpunkt
- säkerställa
- Miljö
- eget kapital
- Eter (ETH)
- utvärdera
- NÅGONSIN
- uppenbart
- befintliga
- erfarenhet
- utforska
- förlänga
- omfattande
- extern
- extrahera
- främja
- vänd
- Funktioner
- Figur
- Fil
- Filer
- fylla
- filter
- Slutligen
- resultat
- Förnamn
- fem
- Flexibilitet
- Fokus
- fokuserar
- efter
- För
- formen
- från
- fullständigt
- fungera
- funktionalitet
- funktioner
- Vidare
- framtida
- Framtid för arbetet
- Games
- luckor
- geometri
- skaffa sig
- Mål
- kraftigt
- Har
- he
- hjälpa
- hjälpte
- hjälpa
- hjälper
- här.
- hans
- historiskt
- Hem
- Huset
- hushåll
- Hur ser din drömresa ut
- html
- http
- HTTPS
- Hundratals
- som illustrerar
- bild
- påverkade
- genomföra
- genomförande
- genomföra
- in
- innefattar
- ingår
- integration
- alltmer
- oerhört
- Infrastruktur
- integrera
- integrering
- Intelligens
- interagera
- interaktiva
- intresse
- Gränssnitt
- Internet
- internetåtkomst
- in
- IT
- DESS
- Lediga jobb
- delta
- jpg
- Vet
- känd
- kumar
- sjö
- liggande
- språk
- Large
- lämnar
- Låt
- lättare
- tycka om
- Begränsad
- lever
- läsa in
- lokal
- lokalt
- läge
- gjord
- ledning
- chef
- manuellt
- karta
- kartläggning
- menas
- mäta
- mätning
- melanie
- metadata
- Metodik
- miljoner
- spegel
- modernisera
- Moduler
- mer
- mest
- tvärvetenskaplig
- multipel
- kommunala
- namn
- nativ
- ne
- nödvändighet
- Behöver
- behov
- Nya
- NV
- of
- erbjudanden
- Office
- Ofta
- omaha
- on
- ONE
- or
- Organiserad
- vår
- ut
- utanför
- över
- övergripande
- parametrar
- del
- delta
- partner
- brinner
- brinner
- bana
- för
- utför
- fas
- Bild
- Plats
- Planen
- planer
- Plattformar
- plato
- Platon Data Intelligence
- PlatonData
- i
- populationer
- positiv
- Inlägg
- drivs
- praxis
- privat
- förfaranden
- förfaranden
- process
- produktiv
- bevis
- bevis på koncept
- Prototypen
- förutsatt
- Snabbt
- snabbt
- område
- Raw
- rådata
- nå
- lätt
- verkliga världen
- insåg
- erhåller
- dirigera om
- reduktion
- regioner
- relaterad
- Repository
- representerar
- att
- svarande
- svar
- resultera
- resulte
- Resultat
- robusta
- regler
- Körning
- kör
- Samma
- säga
- skalbarhet
- skalbar
- Skala
- skärmdumpar
- Andra
- sektioner
- säkert
- Seek
- välj
- Server
- Tjänster
- in
- Forma
- delas
- hon
- show
- visade
- Visar
- signifikant
- Enkelt
- Social hållbarhet
- Social förändring
- Samhället
- lösning
- Lösningar
- Källor
- Utrymme
- spanska
- rumsliga
- specialist
- specialiserat
- specifik
- delas
- Sporter
- SQL
- intressenter
- intressenter
- standard
- står
- Ange
- Stater
- Steg
- Steg
- Fortfarande
- förvaring
- lagra
- lagras
- Upplevelser för livet
- Historia
- Strategiskt
- Strategi
- strukturer
- framgångsrik
- sådana
- tillräcklig
- Som stöds
- Stödjande
- Undersökning
- hållbart
- bord
- skräddarsydd
- tar
- Målet
- riktade
- grupp
- Teknisk
- testament
- än
- den där
- Smakämnen
- Framtiden
- Framtidens arbete
- Staten
- deras
- Dem
- Där.
- vari
- Dessa
- de
- detta
- de
- Genom
- tid
- gånger
- till
- tog
- verktyg
- Verktygslåda
- toolkit
- verktyg
- Förvandla
- Transformation
- transformationer
- Traveling
- sann
- försöker
- TX
- Typ
- förstå
- förståelse
- okänd
- uppdaterad
- uppdatering
- us
- Amerikanska stater
- Begagnade
- Användare
- användarvänligt
- användningar
- med hjälp av
- varierande
- mycket
- livskraft
- Virtuell
- visuell
- visualisering
- avgörande
- volymer
- Warehouse
- var
- tittar
- Sätt..
- we
- webb
- webbservice
- ALLBEKANT
- były
- Vad
- när
- som
- medan
- VEM
- bred
- bredare
- wikipedia
- med
- inom
- utan
- Arbete
- arbetade
- arbetsflöde
- världen
- år
- ännu
- dig
- Din
- zephyrnet
- Postnummer
- zoom