I vår stadig mer digitale verden er rimelig tilgang til høyhastighetsbredbånd en nødvendighet for å delta fullt ut i samfunnet vårt, men det er fortsatt millioner av amerikanske husholdninger uten internettilgang. HR&A-rådgivere– Et tverrfaglig konsulentselskap med omfattende arbeid innen bredbånd og digital aksjer hjelper sine statlige, fylkeskommunale og kommunale kunder med å levere rimelig internettilgang ved å analysere lokalt spesifikke digitale inkluderingsbehov og bygge skreddersydde digitale aksjeplaner.
Det første trinnet i denne prosessen er å kartlegge det digitale skillet. Hvilke husstander har ikke tilgang til internett hjemme? Hvor bor de? Hva er deres spesifikke behov?
Offentlige datakilder er ikke tilstrekkelige for å bygge en sann forståelse av digitale inkluderingsbehov. For å fylle ut hullene i eksisterende data, oppretter HR&A digitale aksjeundersøkelser for å bygge et mer komplett bilde før du utvikler digitale aksjeplaner. HR&A har brukt Amazon Redshift Serverløs og PAPIR å behandle undersøkelsesfunn mer effektivt og lage tilpassede interaktive dashboards for å lette forståelsen av resultatene. HR&A sitt samarbeid med Amazon RedShift og CARTO har resultert i en 75 % reduksjon i den totale tiden for utrulling og styring av dashbord og hjulpet teamet med å oppnå følgende tekniske mål:
- Last undersøkelsesresultater (CSV-filer) og geometridata (formfiler) i et datavarehus
- Utfør geospatiale transformasjoner ved å bruke uttrekk, transformasjon og lasting (ELT)-jobber for å slå sammen geometridata med undersøkelsesresultater i datavarehuset for å tillate visualisering av undersøkelsesresultater på et kart
- Integrer med et Business Intelligence (BI)-verktøy for avanserte geo-romlige funksjoner, visualiseringer og kartleggingsdashboard
- Skaler datavarehuskapasiteten opp eller ned for å håndtere arbeidsbelastninger av ulik kompleksitet på en kostnadseffektiv måte
I dette innlegget pakker vi ut hvordan HR&A bruker Amazon Redshift romlig analyse og CARTO for kostnadseffektiv geospatial måling av digital inkludering og internettilgang på tvers av flere amerikanske stater.
Før vi kommer til arkitekturdetaljene, her er hva HR&A og deres klient, Colorado's Office of the Future of Work, har å si om løsningen.
"Ved å jobbe med teamet hos HR&A Advisors, laget Colorados Digital Equity Team et tilpasset dashbord som gjorde det mulig for oss å svært effektivt evaluere rekkevidden vår mens vi kartla historisk marginaliserte populasjoner over hele Colorado. Dette dynamiske verktøyet, drevet av AWS og CARTO, ga robuste visualiseringer av hvilke regioner og populasjoner som samhandlet med undersøkelsen vår, noe som gjorde det mulig for oss å zoome inn raskt og adressere hull i dekningen. Å sikre at vi var i stand til å oppsøke data fra de som er mest påvirket av det digitale skillet i Colorado, har vært avgjørende for å håndtere digitale ulikheter i staten vår.»
— Melanie Colletti, Digital Equity Manager ved Colorados Office of the Future of Work
"AWS lar oss sikkert lagre alle undersøkelsesdataene våre på ett sted, raskt skrubbe og analysere dem på Amazon Redshift, og speile resultatene gjennom integrasjon med datavisualiseringsverktøy som CARTO uten at dataene noen gang forlater AWS. Dette frigjør vår lokale datamaskinplass, automatiserer rense- og analysetrinnet i undersøkelsen i stor grad, og lar kundene våre enkelt få tilgang til dataresultatene. Etter konseptbeviset og utviklingen av den første prototypen, viste nesten alle våre statlige kunder interesse for å bruke den samme løsningen for deres stater.»
— Harman Singh Dhodi, analytiker hos HR&A Advisors, Inc.
Lagre og analysere store undersøkelsesdatasett
HR&A brukte Redshift Serverless til å lagre store mengder digital inkluderingsdata på ett sted og raskt transformere og analysere dem ved å bruke CARTOs analytiske verktøysett for å utvide de romlige egenskapene til Amazon Redshift og integrere med CARTOs datavisualiseringsverktøy – alt uten at dataene noen gang forlater AWS-miljøet . Dette kuttet betydelig ned på analytiske behandlingstider.
De CARTO Analytics Toolbox for Redshift er sammensatt av et sett med brukerdefinerte funksjoner og prosedyrer organisert i et sett med moduler basert på funksjonaliteten de tilbyr.
Følgende figur viser løsningen og arbeidsflyttrinnene utviklet under proof of concept med en virtuell privat sky (VPC) på Amazon Redshift.
I de følgende avsnittene diskuterer vi hver fase i arbeidsflyten mer detaljert.
Inntak av data
HR&A mottar undersøkelsesdata som brede CSV-filer med hundrevis av kolonner i hver fil og relaterte romlige data i heksadesimal Utvidet velkjent binær (EWKB) i form av formfiler. Disse filene er lagret i Amazon enkel lagringstjeneste (Amazon S3).
De Rødskift COPY kommando brukes til å ta inn romlige data fra formfiler til den opprinnelige GEOMETRY-datatypen som støttes i Amazon Redshift. En kombinasjon av Amazon Redshift Spectrum og COPY-kommandoer brukes til å innta undersøkelsesdataene som er lagret som CSV-filer. For filene med ukjente strukturer, AWS Lim crawlere brukes til å trekke ut metadata og lage tabelldefinisjoner i Datakatalog. Disse tabelldefinisjonene brukes som metadatalager for eksterne tabeller i Amazon Redshift.
For filer med kjente strukturer brukes en lagret Redshift-prosedyre, som tar filplasseringen og tabellnavnet som parametere og kjører en COPY-kommando for å laste rådataene inn i tilsvarende Redshift-tabeller.
Datatransformasjon
Flere lagrede prosedyrer brukes til å dele råtabelldataene og laste dem inn i tilsvarende måltabeller mens de brukerdefinerte transformasjonene brukes.
Disse transformasjonsreglene inkluderer transformasjon av GEOMETRY-data ved bruk av native Redshift geo-romlige funksjoner, Som ST_Area og ST_lengde, og CARTO-er avanserte romlige funksjoner, som er lett tilgjengelig i Amazon Redshift som en del av CARTO Analytics Toolbox for Redshift installasjon. Videre er alle datainntak og transformasjonstrinn automatisert ved hjelp av en AWS Lambda funksjon for å kjøre Redshift-spørringen når et datasett i Amazon S3 blir oppdatert.
Datavisualisering
HR&A-teamet brukte CARTOs Redshift-kobling for å koble til Redshift Serverless-endepunktet og bygde dashboards ved hjelp av CARTOs SQL-grensesnitt og widgets for å hjelpe til med kartlegging mens de utførte dynamiske beregninger av kartdataene i henhold til kundens behov.
Følgende er eksempler på skjermbilder av dashbordene som viser undersøkelsessvar etter postnummer. Fylkene som er i lysere nyanser representerer begrensede undersøkelsessvar og må inkluderes i den målrettede datainnsamlingsstrategien.
Det første bildet viser dashbordet uten noen aktive filtre. Det andre bildet viser filtrerte kart og chatter av respondenter som tok undersøkelsen på spansk. Brukeren kan velge og veksle mellom funksjoner ved å klikke på den respektive kategorien i et av søylediagrammene.
Resultatet: En ny standard for automatisk oppdatering av digitale inkluderingsdashboards
Etter å ha utviklet den første interaktive dashboard-prototypen med denne metodikken, viste fem av HR&As statlige kunder (CA, TX, NV, CO og MA) interesse for løsningen. HR&A var i stand til å implementere det for hver av dem innen 2 måneder – en utrolig rask behandlingstid for et tilpasset, interaktivt dashbord for digital inkludering.
HR&A realiserte også en reduksjon på 75 % i den totale tiden for distribusjon og styring av dashbord, noe som betydde at konsulentteamet kunne omdirigere fokuset fra å manuelt analysere data til å hjelpe kundene med å tolke og planlegge resultatene strategisk. Til slutt gjorde dashbordets brukervennlige grensesnitt undersøkelsesdata mer tilgjengelig for et bredere spekter av interessenter. Dette bidro til å bygge en felles forståelse ved vurdering av hull i hver stats digitale inkluderingslandskap og muliggjorde en målrettet datainnsamlingsstrategi fra områder med begrensede undersøkelsessvar, og støttet dermed mer produktivt samarbeid generelt.
konklusjonen
I dette innlegget viste vi hvordan HR&A var i stand til å analysere geospatiale data i store volumer ved å bruke Amazon Redshift Serverless og CARTO.
Med HR&As vellykkede implementering er det tydelig at Redshift Serverless, med sin fleksibilitet og skalerbarhet, kan brukes som en katalysator for positiv sosial endring. Ettersom HR&A fortsetter å bane vei for digital egenkapital, står deres historie som et vitnesbyrd om hvordan AWS-tjenester og dets partnere kan brukes til å møte utfordringer i den virkelige verden.
Vi oppfordrer deg til å utforske Redshift Serverless med CARTO for å analysere romlige data og gi oss beskjed om opplevelsen din i kommentarene.
Om forfatterne
Harman Singh Dhodi er en analytiker hos HR&A Advisors, kombinerer Harman sin lidenskap for dataanalyse med bærekraftig infrastrukturpraksis, sosial inkludering, økonomisk levedyktighet, klimaresiliens og bygging av interessentkapasitet. Harmans arbeid fokuserer ofte på å oversette komplekse datasett til visuelle historier og tilgjengelige verktøy som hjelper samfunnene å forstå utfordringene de står overfor og skape løsninger for en lysere fremtid.
Kiran Kumar Tati er en Analytics Specialist Solutions Architect basert i Omaha, NE. Han har spesialisert seg på å bygge ende-til-ende analytiske løsninger. Han har mer enn 13 års erfaring med å designe og implementere store Big Data og Analytics-løsninger. På fritiden liker han å spille cricket og se på sport.
Sapna Maheshwari er senior løsningsarkitekt hos Amazon Web Services. Hun hjelper kunder med å bygge dataanalyseløsninger i stor skala på AWS. Utenom jobben liker hun å reise og prøve nye retter.
Washim Nawaz er en Analytics Specialist Solutions Architect hos AWS. Han har jobbet med å bygge og justere datavarehus- og datainnsjøløsninger i over 15 år. Han brenner for å hjelpe kunder med å modernisere dataplattformene sine med effektive, ytende og skalerbare analytiske løsninger. Utenom jobben liker han å se spill og reise.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- : har
- :er
- :hvor
- $OPP
- 1
- 120
- 13
- 15 år
- 15%
- 150
- 29
- 33
- 35%
- a
- I stand
- Om oss
- adgang
- tilgjengelig
- Oppnå
- tvers
- aktiv
- adresse
- adressering
- avansert
- rådgivere
- rimelig
- Alle
- tillate
- tillatt
- tillater
- nesten
- også
- Amazon
- Amazon Web Services
- amerikansk
- beløp
- an
- analyse
- analytiker
- analytisk
- Analytisk
- analytics
- analysere
- analyserer
- og
- noen
- påføring
- arkitektur
- ER
- områder
- rundt
- AS
- vurdere
- bistå
- At
- Automatisert
- automatiserer
- automatisk
- tilgjengelig
- AWS
- Bar
- basert
- BE
- vært
- før du
- mellom
- Stor
- Store data
- lysere
- bredbånd
- bygge
- Bygning
- bygget
- virksomhet
- business intelligence
- by
- CA
- CAN
- evner
- Kapasitet
- Catalyst
- Kategori
- utfordringer
- endring
- Topplisten
- Rengjøring
- kunde
- klienter
- Klima
- Cloud
- CO
- kode
- samarbeid
- samling
- Colorado
- kolonner
- kombinasjon
- skurtreskerne
- kommentarer
- Communities
- fullføre
- komplekse
- kompleksitet
- komponert
- datamaskin
- konsept
- Koble
- konsulent
- konsulent
- fortsetter
- Tilsvarende
- kostnadseffektiv
- kunne
- fylke
- dekning
- skape
- opprettet
- skaper
- cricket
- skikk
- Kunder
- Kutt
- dashbord
- oversikter
- dato
- Data Analytics
- Data Lake
- datavisualisering
- datalager
- datasett
- definisjoner
- leverer
- distribusjon
- utforme
- detalj
- detaljer
- utviklet
- utvikle
- Utvikling
- digitalt
- digital verden
- diskutere
- dele
- do
- ikke
- ned
- under
- dynamisk
- hver enkelt
- lett
- økonomisk
- effektivt
- effektiv
- effektivt
- bemyndige
- muliggjør
- oppmuntre
- ende til ende
- Endpoint
- sikrer
- Miljø
- egenkapital
- Eter (ETH)
- evaluere
- NOEN GANG
- tydelig
- eksisterende
- erfaring
- utforske
- utvide
- omfattende
- utvendig
- trekke ut
- legge til rette
- vendt
- Egenskaper
- Figur
- filet
- Filer
- fyll
- filtre
- Endelig
- funn
- Først
- fem
- fleksibilitet
- Fokus
- fokuserer
- etter
- Til
- skjema
- fra
- fullt
- funksjon
- funksjonalitet
- funksjoner
- Dess
- framtid
- Future of Work
- Games
- hull
- geometri
- få
- Mål
- sterkt
- Ha
- he
- hjelpe
- hjulpet
- hjelpe
- hjelper
- her.
- hans
- historisk
- Hjemprodukt
- hus
- husholdninger
- Hvordan
- HTML
- http
- HTTPS
- Hundrevis
- illustrerer
- bilde
- påvirket
- iverksette
- gjennomføring
- implementere
- in
- inkludere
- inkludert
- inkludering
- stadig
- utrolig
- Infrastruktur
- integrere
- integrering
- Intelligens
- samhandler
- interaktiv
- interesse
- Interface
- Internet
- Internettilgang
- inn
- IT
- DET ER
- Jobb
- bli medlem
- jpg
- Vet
- kjent
- Kumar
- innsjø
- landskap
- Språk
- stor
- forlater
- la
- lettere
- i likhet med
- Begrenset
- leve
- laste
- lokal
- lokalt
- plassering
- laget
- ledelse
- leder
- manuelt
- kart
- kartlegging
- ment
- måle
- måling
- melanie
- metadata
- metodikk
- millioner
- speil
- modern
- Moduler
- mer
- mest
- tverrfaglig
- flere
- kommunale
- navn
- innfødt
- ne
- nødvendighet
- Trenger
- behov
- Ny
- NV
- of
- tilby
- Office
- ofte
- omayah
- on
- ONE
- or
- Organisert
- vår
- ut
- utenfor
- enn
- samlet
- parametere
- del
- delta
- partnere
- lidenskap
- lidenskapelig
- vraket
- for
- utfører
- fase
- bilde
- Sted
- fly
- planer
- Plattformer
- plato
- Platon Data Intelligence
- PlatonData
- spiller
- populasjoner
- positiv
- Post
- powered
- praksis
- privat
- prosedyren
- prosedyrer
- prosess
- produktiv
- bevis
- proof of concept
- prototype
- forutsatt
- Rask
- raskt
- område
- Raw
- rådata
- å nå
- lett
- virkelige verden
- realisert
- mottar
- omdirigere
- reduksjon
- regioner
- i slekt
- Repository
- representere
- de
- respondentene
- svar
- resultere
- resulterte
- Resultater
- robust
- regler
- Kjør
- går
- samme
- sier
- skalerbarhet
- skalerbar
- Skala
- skjermbilder
- Sekund
- seksjoner
- sikkert
- Søke
- velg
- server~~POS=TRUNC
- Tjenester
- sett
- Form
- delt
- hun
- Vis
- viste
- Viser
- betydelig
- Enkelt
- selskap
- Sosial endring
- Samfunnet
- løsning
- Solutions
- Kilder
- Rom
- Spansk
- romlig
- spesialist
- spesialisert
- spesifikk
- splittet
- Sports
- SQL
- interessent
- interessenter
- Standard
- står
- Tilstand
- Stater
- Trinn
- Steps
- Still
- lagring
- oppbevare
- lagret
- Stories
- Story
- strategisk
- Strategi
- strukturer
- vellykket
- slik
- tilstrekkelig
- Støttes
- Støtte
- Survey /Inspeksjonsfartøy
- bærekraftig
- bord
- skreddersydd
- tar
- Target
- målrettet
- lag
- Teknisk
- testament
- enn
- Det
- De
- Fremtiden
- Fremtidens arbeid
- Staten
- deres
- Dem
- Der.
- derved
- Disse
- de
- denne
- De
- Gjennom
- tid
- ganger
- til
- tok
- verktøy
- Toolbox
- verktøykasse
- verktøy
- Transform
- Transformation
- transformasjoner
- Traveling
- sant
- prøver
- TX
- typen
- forstå
- forståelse
- ukjent
- oppdatert
- oppdatering
- us
- Amerikanske stater
- brukt
- Bruker
- brukervennlig
- bruker
- ved hjelp av
- Varierende
- veldig
- levedyktighet
- virtuelle
- visuell
- visualisering
- vital
- volumer
- Warehouse
- var
- se
- Vei..
- we
- web
- webtjenester
- velkjent
- var
- Hva
- når
- hvilken
- mens
- HVEM
- bred
- bredere
- Wikipedia
- med
- innenfor
- uten
- Arbeid
- arbeidet
- arbeidsflyt
- verden
- år
- ennå
- du
- Din
- zephyrnet
- Zip
- zoom