I vores stadig mere digitale verden er overkommelig adgang til højhastighedsbredbånd en nødvendighed for at deltage fuldt ud i vores samfund, men alligevel er der stadig millioner af amerikanske husstande uden internetadgang. HR&A rådgivere— et tværfagligt konsulentfirma med omfattende arbejde inden for bredbånd og digital aktiekapital hjælper sine statslige, amtslige og kommunale kunder med at levere overkommelig internetadgang ved at analysere lokalt specifikke behov for digital inklusion og opbygge skræddersyede digitale aktieplaner.
Det første trin i denne proces er at kortlægge den digitale kløft. Hvilke husstande har ikke adgang til internettet derhjemme? Hvor bor de? Hvad er deres specifikke behov?
Offentlige datakilder er ikke tilstrækkelige til at opbygge en sand forståelse af behov for digital inklusion. For at udfylde hullerne i eksisterende data, laver HR&A digitale aktieundersøgelser for at opbygge et mere komplet billede, inden der udvikles digitale aktieplaner. HR&A har brugt Amazon Redshift Serverløs , PAPIR at behandle undersøgelsesresultater mere effektivt og skabe brugerdefinerede interaktive dashboards for at lette forståelsen af resultaterne. HR&A's samarbejde med Amazon rødforskydning og CARTO har resulteret i en reduktion på 75 % i den samlede implementerings- og dashboardstyringstid og hjulpet teamet med at nå følgende tekniske mål:
- Indlæs undersøgelsesresultater (CSV-filer) og geometridata (formfiler) i et datavarehus
- Udfør geo-spatiale transformationer ved hjælp af udtræk, transformer og indlæs (ELT) jobs for at forbinde geometridata med undersøgelsesresultater i datavarehuset for at tillade visualisering af undersøgelsesresultater på et kort
- Integrer med et Business Intelligence (BI) værktøj til avancerede geospatiale funktioner, visualiseringer og kortlægningsdashboards
- Skaler datavarehuskapaciteten op eller ned for at håndtere arbejdsbelastninger af varierende kompleksitet på en omkostningseffektiv måde
I dette indlæg pakker vi ud, hvordan HR&A bruger Amazon Redshift spatial analytics og CARTO til omkostningseffektiv geo-spatial måling af digital inklusion og internetadgang på tværs af flere amerikanske stater.
Før vi kommer til arkitekturdetaljerne, er her, hvad HR&A og dets klient, Colorado's Office of the Future of Work, har at sige om løsningen.
"I samarbejde med teamet hos HR&A Advisors skabte Colorados Digital Equity Team et brugerdefineret dashboard, der gjorde det muligt for os meget effektivt at evaluere vores rækkevidde, mens vi undersøgte historisk marginaliserede befolkninger i Colorado. Dette dynamiske værktøj, drevet af AWS og CARTO, gav robuste visualiseringer af, hvilke regioner og befolkninger der interagerede med vores undersøgelse, hvilket gjorde det muligt for os at zoome ind hurtigt og adressere huller i dækningen. At sikre, at vi var i stand til at opsøge data fra dem, der er mest påvirket af den digitale kløft i Colorado, har været afgørende for at håndtere digitale uligheder i vores stat."
— Melanie Colletti, Digital Equity Manager hos Colorado's Office of the Future of Work
"AWS giver os mulighed for sikkert at opbevare alle vores undersøgelsesdata ét sted, hurtigt skrubbe og analysere dem på Amazon Redshift og spejle resultaterne gennem integration med datavisualiseringsværktøjer såsom CARTO, uden at dataene nogensinde forlader AWS. Dette frigør vores lokale computerplads, automatiserer undersøgelsesrensnings- og analysetrinnet i høj grad og giver vores kunder let adgang til dataresultaterne. Efter proof of concept og udvikling af den første prototype viste næsten alle vores statskunder interesse for at bruge den samme løsning til deres stater."
— Harman Singh Dhodi, analytiker hos HR&A Advisors, Inc.
Lagring og analyse af store undersøgelsesdatasæt
HR&A brugte Redshift Serverless til at lagre store mængder digitale inklusionsdata ét sted og hurtigt transformere og analysere dem ved hjælp af CARTOs analytiske værktøjssæt til at udvide Amazon Redshifts rumlige muligheder og integrere med CARTOs datavisualiseringsværktøjer – alt sammen uden at dataene nogensinde forlader AWS-miljøet . Dette skar markant ned på analytiske behandlingstider.
CARTO Analytics Værktøjskasse til Redshift er sammensat af et sæt brugerdefinerede funktioner og procedurer organiseret i et sæt moduler baseret på den funktionalitet, de tilbyder.
Følgende figur viser løsnings- og arbejdsgangstrinene udviklet under proof of concept med en virtuel privat sky (VPC) på Amazon Redshift.
I de følgende afsnit diskuterer vi hver fase i arbejdsgangen mere detaljeret.
Dataindtagelse
HR&A modtager undersøgelsesdata som brede CSV-filer med hundredvis af kolonner i hver fil og relaterede geografiske data i hexadecimal Udvidet velkendt binær (EWKB) i form af shape-filer. Disse filer er gemt i Amazon Simple Storage Service (Amazon S3).
Rødskift COPY kommando bruges til at indlæse de rumlige data fra shape-filer til den oprindelige GEOMETRY-datatype, der understøttes i Amazon Redshift. En kombination af Amazon Redshift Spectrum og COPY-kommandoer bruges til at indlæse undersøgelsesdataene, der er gemt som CSV-filer. For filer med ukendte strukturer, AWS Lim crawlers bruges til at udtrække metadata og oprette tabeldefinitioner i Datakatalog. Disse tabeldefinitioner bruges som metadatalager for eksterne tabeller i Amazon Redshift.
For filer med kendte strukturer bruges en Redshift-lagret procedure, som tager filplaceringen og tabelnavnet som parametre og kører en COPY-kommando for at indlæse rådataene i tilsvarende rødforskydningstabeller.
Datatransformation
Der bruges flere lagrede procedurer til at opdele de rå tabeldata og indlæse dem i tilsvarende måltabeller, mens de brugerdefinerede transformationer anvendes.
Disse transformationsregler inkluderer transformation af GEOMETRY-data ved hjælp af native Redshift geo-spatiale funktionerSom ST_Area , ST_længde, og CARTO'er avancerede rumlige funktioner, som er let tilgængelige i Amazon Redshift som en del af CARTO Analytics Toolbox for Redshift installation. Desuden automatiseres alle dataindtagelse og transformationstrin ved hjælp af en AWS Lambda funktion til at køre Redshift-forespørgslen, når ethvert datasæt i Amazon S3 bliver opdateret.
Data visualisering
HR&A-teamet brugte CARTOs Redshift-konnektor til at oprette forbindelse til Redshift Serverless-slutpunktet og byggede dashboards ved hjælp af CARTOs SQL-grænseflade og widgets til at hjælpe med kortlægning, mens de udførte dynamiske beregninger af kortdataene efter klientens behov.
Følgende er eksempler på skærmbilleder af dashboards, der viser undersøgelsesbesvarelser efter postnummer. De amter, der er i lysere nuancer, repræsenterer begrænsede undersøgelsessvar og skal inkluderes i den målrettede dataindsamlingsstrategi.
Det første billede viser dashboardet uden aktive filtre. Det andet billede viser filtrerede kort og chats fra respondenter, der tog undersøgelsen på spansk. Brugeren kan vælge og skifte mellem funktioner ved at klikke på den respektive kategori i et hvilket som helst af søjlediagrammerne.
Resultatet: En ny standard for automatisk opdatering af dashboards til digital inklusion
Efter at have udviklet den første interaktive dashboard-prototype med denne metode, viste fem af HR&A's statskunder (CA, TX, NV, CO og MA) interesse for løsningen. HR&A var i stand til at implementere det for hver af dem inden for 2 måneder – en utrolig hurtig vending for et brugerdefineret, interaktivt dashboard til digital inklusion.
HR&A realiserede også omkring en 75 % reduktion i den samlede implementerings- og dashboardstyringstid, hvilket betød, at konsulentteamet kunne omdirigere deres fokus fra manuelt at analysere data til at hjælpe kunder med at fortolke og strategisk planlægge resultaterne. Endelig gjorde dashboardets brugervenlige grænseflade undersøgelsesdata mere tilgængelige for en bredere række af interessenter. Dette hjalp med at opbygge en fælles forståelse, når man vurderede huller i hver stats digitale inklusionslandskab, og gav mulighed for en målrettet dataindsamlingsstrategi fra områder med begrænsede undersøgelsessvar, og understøttede derved mere produktivt samarbejde generelt.
Konklusion
I dette indlæg viste vi, hvordan HR&A var i stand til at analysere geo-spatiale data i store mængder ved hjælp af Amazon Redshift Serverless og CARTO.
Med HR&A's succesfulde implementering er det tydeligt, at Redshift Serverless med sin fleksibilitet og skalerbarhed kan bruges som en katalysator for positiv social forandring. Mens HR&A fortsætter med at bane vejen for digital egenkapital, står deres historie som et vidnesbyrd om, hvordan AWS-tjenester og dets partnere kan bruges til at håndtere udfordringer i den virkelige verden.
Vi opfordrer dig til at udforske Redshift Serverless med CARTO for at analysere rumlige data og fortælle os om din oplevelse i kommentarerne.
Om forfatterne
Harman Singh Dhodi er analytiker hos HR&A Advisors, kombinerer Harman sin passion for dataanalyse med bæredygtig infrastrukturpraksis, social inklusion, økonomisk levedygtighed, klimaresiliens og opbygning af interessentkapacitet. Harmans arbejde fokuserer ofte på at oversætte komplekse datasæt til visuelle historier og tilgængelige værktøjer, der hjælper fællesskaber med at forstå de udfordringer, de står over for, og skabe løsninger for en lysere fremtid.
Kiran Kumar Tati er en Analytics Specialist Solutions Architect baseret i Omaha, NE. Han har specialiseret sig i at bygge end-to-end analytiske løsninger. Han har mere end 13 års erfaring med at designe og implementere store Big Data og Analytics løsninger. I sin fritid nyder han at spille cricket og se sport.
Sapna Maheshwari er Sr. Solutions Architect hos Amazon Web Services. Hun hjælper kunder med at arkitekte dataanalyseløsninger i stor skala på AWS. Uden for arbejdet nyder hun at rejse og prøve nye køkkener.
Washim Nawaz er en Analytics Specialist Solutions Architect hos AWS. Han har arbejdet med at bygge og tune data warehouse og data lake løsninger i over 15 år. Han brænder for at hjælpe kunder med at modernisere deres dataplatforme med effektive, effektive og skalerbare analytiske løsninger. Uden for arbejdet nyder han at se spil og rejse.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
- Kilde: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- :har
- :er
- :hvor
- $OP
- 1
- 120
- 13
- 15 år
- 15 %
- 150
- 29
- 33
- 35 %
- a
- I stand
- Om
- adgang
- tilgængelig
- opnå
- tværs
- aktiv
- adresse
- adressering
- fremskreden
- rådgivere
- overkommelige
- Alle
- tillade
- tilladt
- tillader
- næsten
- også
- Amazon
- Amazon Web Services
- amerikansk
- beløb
- an
- analyse
- analytiker
- Analytisk
- Analytisk
- analytics
- analysere
- analysere
- ,
- enhver
- Anvendelse
- arkitektur
- ER
- områder
- omkring
- AS
- Vurdering
- hjælpe
- At
- Automatiseret
- automater
- automatisk
- til rådighed
- AWS
- Bar
- baseret
- BE
- været
- før
- mellem
- Big
- Big data
- lysere
- bredbånd
- bygge
- Bygning
- bygget
- virksomhed
- business intelligence
- by
- CA
- CAN
- kapaciteter
- Kapacitet
- Katalysator
- Boligtype
- udfordringer
- lave om
- Diagrammer
- Rengøring
- kunde
- kunder
- Klima
- Cloud
- CO
- kode
- samarbejde
- samling
- Colorado
- Kolonner
- kombination
- kombinerer
- kommentarer
- Fællesskaber
- fuldføre
- komplekse
- kompleksitet
- sammensat
- computer
- Konceptet
- Tilslut
- rådgivning
- rådgivning
- fortsætter
- Tilsvarende
- omkostningseffektiv
- kunne
- amt
- dækning
- skabe
- oprettet
- skaber
- cricket
- skik
- Kunder
- Klip
- instrumentbræt
- dashboards
- data
- Dataanalyse
- Data Lake
- datavisualisering
- datalager
- datasæt
- definitioner
- levere
- implementering
- designe
- detail
- detaljer
- udviklet
- udvikling
- Udvikling
- digital
- digital verden
- diskutere
- opdele
- do
- Dont
- ned
- i løbet af
- dynamisk
- hver
- nemt
- Økonomisk
- effektivt
- effektiv
- effektivt
- bemyndige
- muliggør
- tilskynde
- ende til ende
- Endpoint
- sikring
- Miljø
- egenkapital
- Ether (ETH)
- evaluere
- NOGENSINDE
- indlysende
- eksisterende
- erfaring
- udforske
- udvide
- omfattende
- ekstern
- ekstrakt
- lette
- vender
- Funktionalitet
- Figur
- File (Felt)
- Filer
- udfylde
- Filtre
- Endelig
- fund
- Fornavn
- fem
- Fleksibilitet
- Fokus
- fokuserer
- efter
- Til
- formular
- fra
- fuldt ud
- funktion
- funktionalitet
- funktioner
- Endvidere
- fremtiden
- Fremtid for arbejde
- Spil
- huller
- geometri
- få
- Mål
- stærkt
- Have
- he
- hjælpe
- hjulpet
- hjælpe
- hjælper
- link.
- hans
- historisk
- Home
- hus
- husholdninger
- Hvordan
- HTML
- http
- HTTPS
- Hundreder
- illustrerer
- billede
- påvirket
- gennemføre
- implementering
- gennemføre
- in
- omfatter
- medtaget
- inklusion
- stigende
- utroligt
- Infrastruktur
- integrere
- integration
- Intelligens
- interaktion
- interaktiv
- interesse
- grænseflade
- Internet
- Internetadgang
- ind
- IT
- ITS
- Karriere
- deltage
- jpg
- Kend
- kendt
- Kumar
- sø
- landskab
- Sprog
- stor
- forlader
- lad
- lighter
- ligesom
- Limited
- leve
- belastning
- lokale
- lokalt
- placering
- lavet
- ledelse
- leder
- manuelt
- kort
- kortlægning
- betød
- måle
- måling
- melanie
- Metadata
- Metode
- millioner
- spejl
- modernisere
- Moduler
- mere
- mest
- tværfagligt
- flere
- kommunale
- navn
- indfødte
- ne
- nødvendighed
- Behov
- behov
- Ny
- NV
- of
- tilbyde
- Office
- tit
- omaha
- on
- ONE
- or
- Organiseret
- vores
- ud
- uden for
- i løbet af
- samlet
- parametre
- del
- deltage
- partnere
- lidenskab
- lidenskabelige
- bane
- per
- udfører
- fase
- billede
- Place
- fly
- planer
- Platforme
- plato
- Platon Data Intelligence
- PlatoData
- spiller
- populationer
- positiv
- Indlæg
- strøm
- praksis
- private
- procedure
- procedurer
- behandle
- produktiv
- bevis
- Bevis for koncept
- prototype
- forudsat
- Hurtig
- hurtigt
- rækkevidde
- Raw
- rådata
- nå
- let
- virkelige verden
- gik op for
- modtager
- omdirigere
- reduktion
- regioner
- relaterede
- Repository
- repræsentere
- dem
- respondenter
- reaktioner
- resultere
- resulteret
- Resultater
- robust
- regler
- Kør
- løber
- samme
- siger
- Skalerbarhed
- skalerbar
- Scale
- screenshots
- Anden
- sektioner
- sikkert
- Søg
- Vælg
- Serverless
- Tjenester
- sæt
- Shape
- delt
- hun
- Vis
- viste
- Shows
- betydeligt
- Simpelt
- Social
- Social forandring
- Samfund
- løsninger
- Løsninger
- Kilder
- Space
- Spansk
- rumlige
- specialist
- specialiseret
- specifikke
- delt
- Sport
- SQL
- interessent
- interessenter
- standard
- står
- Tilstand
- Stater
- Trin
- Steps
- Stadig
- opbevaring
- butik
- opbevaret
- Historier
- Story
- Strategisk
- Strategi
- strukturer
- vellykket
- sådan
- tilstrækkeligt
- Understøttet
- Støtte
- Kortlægge
- bæredygtig
- bord
- skræddersyet
- tager
- mål
- målrettet
- hold
- Teknisk
- testamente
- end
- at
- Fremtiden
- Fremtidens arbejde
- Staten
- deres
- Them
- Der.
- derved
- Disse
- de
- denne
- dem
- Gennem
- tid
- gange
- til
- tog
- værktøj
- Værktøjskasse
- toolkit
- værktøjer
- Transform
- Transformation
- transformationer
- Traveling
- sand
- forsøger
- TX
- typen
- forstå
- forståelse
- ukendt
- opdateret
- opdatering
- us
- Amerikanske stater
- anvendte
- Bruger
- brugervenlig
- bruger
- ved brug af
- Varierende
- meget
- levedygtighed
- Virtual
- visuel
- visualisering
- afgørende
- mængder
- Warehouse
- var
- ser
- Vej..
- we
- web
- webservices
- Kendt
- var
- Hvad
- hvornår
- som
- mens
- WHO
- bred
- bredere
- Wikipedia
- med
- inden for
- uden
- Arbejde
- arbejdede
- workflow
- world
- år
- endnu
- dig
- Din
- zephyrnet
- Zip
- zoom