În lumea noastră din ce în ce mai digitală, accesul la prețuri accesibile la bandă largă de mare viteză este o necesitate pentru a participa pe deplin la societatea noastră, dar există încă milioane de gospodării americane fără acces la internet. Consilieri HR&A— o consultanță multidisciplinară cu activitate extinsă în spațiul de bandă largă și de echitate digitală îi ajută pe clienții săi de stat, județeni și municipali să ofere acces la internet la prețuri accesibile, analizând nevoile locale de incluziune digitală și construind planuri de echitate digitală personalizate.
Primul pas în acest proces este cartografierea decalajului digital. Ce gospodării nu au acces la internet acasă? Unde locuiesc ei? Care sunt nevoile lor specifice?
Sursele publice de date nu sunt suficiente pentru a construi o înțelegere reală a nevoilor de incluziune digitală. Pentru a completa golurile din datele existente, HR&A creează anchete de capital digital pentru a construi o imagine mai completă înainte de a dezvolta planuri de capital digital. HR&A a folosit Amazon Redshift fără server și HARTĂ pentru a procesa rezultatele sondajului mai eficient și pentru a crea tablouri de bord interactive personalizate pentru a facilita înțelegerea rezultatelor. Colaborarea HR&A cu Amazon RedShift și CARTO a dus la o reducere cu 75% a timpului general de implementare și de gestionare a tabloului de bord și a ajutat echipa să atingă următoarele obiective tehnice:
- Încărcați rezultatele sondajului (fișiere CSV) și date de geometrie (fișiere de formă) într-un depozit de date
- Efectuați transformări geo-spațiale folosind lucrări de extragere, transformare și încărcare (ELT) pentru a uni datele geometriei cu rezultatele sondajului în depozitul de date pentru a permite vizualizarea rezultatelor sondajului pe o hartă
- Integrați cu un instrument de business intelligence (BI) pentru funcții geo-spațiale avansate, vizualizări și tablouri de bord de cartografiere
- Creșteți sau reduceți capacitatea depozitului de date pentru a aborda sarcinile de lucru de complexitate diferită într-un mod eficient din punct de vedere al costurilor
În această postare, dezvăluim modul în care HR&A utilizează analiza spațială Amazon Redshift și CARTO pentru măsurarea geo-spațială rentabilă a incluziunii digitale și a accesului la internet în mai multe state din SUA.
Înainte de a ajunge la detaliile arhitecturii, iată ce au de spus HR&A și clientul său, Office of the Future of Work din Colorado, despre soluție.
„Lucrând cu echipa de la HR&A Advisors, Echipa Digital Equity din Colorado a creat un tablou de bord personalizat care ne-a permis să evaluăm foarte eficient acoperirea noastră în timp ce analizăm populațiile marginalizate istoric din Colorado. Acest instrument dinamic, alimentat de AWS și CARTO, a oferit vizualizări solide ale regiunilor și populațiilor care interacționau cu sondajul nostru, permițându-ne să mărim rapid și să remediem lacunele în acoperire. Asigurarea că am putut să căutăm date de la cei care sunt cel mai afectați de decalajul digital din Colorado a fost vital pentru a aborda inechitățile digitale din statul nostru.”
— Melanie Colletti, Digital Equity Manager la Office of the Future of Work din Colorado
„AWS ne permite să găzduim în siguranță toate datele noastre de sondaj într-un singur loc, să le curățăm și să le analizăm rapid pe Amazon Redshift și să oglindim rezultatele prin integrarea cu instrumente de vizualizare a datelor, cum ar fi CARTO, fără ca datele să părăsească vreodată AWS. Acest lucru eliberează spațiul nostru local pe computer, automatizează foarte mult pasul de curățare și analiză a sondajului și permite clienților noștri să acceseze cu ușurință rezultatele datelor. În urma dovezării conceptului și dezvoltării primului prototip, aproape toți clienții noștri de stat și-au arătat interesul de a folosi aceeași soluție pentru statele lor.”
— Harman Singh Dhodi, analist la HR&A Advisors, Inc.
Stocarea și analizarea unor seturi mari de date de sondaj
HR&A a folosit Redshift Serverless pentru a stoca cantități mari de date de incluziune digitală într-un singur loc și pentru a le transforma și analiza rapid folosind setul de instrumente analitice CARTO pentru a extinde capacitățile spațiale ale Amazon Redshift și pentru a se integra cu instrumentele de vizualizare a datelor CARTO - totul fără ca datele să părăsească vreodată mediul AWS . Acest lucru a redus semnificativ timpul de răspuns analitic.
Caseta de instrumente CARTO Analytics pentru Redshift este compus dintr-un set de funcții și proceduri definite de utilizator organizate într-un set de module pe baza funcționalității pe care le oferă.
Următoarea figură prezintă soluția și pașii fluxului de lucru dezvoltați în timpul probei conceptului cu un cloud privat virtual (VPC) pe Amazon Redshift.
În secțiunile următoare, discutăm mai detaliat fiecare fază a fluxului de lucru.
Ingestie de date
HR&A primește datele sondajului ca fișiere CSV largi, cu sute de coloane în fiecare fișier și date spațiale aferente în hexazecimal Binar bine-cunoscut extins (EWKB) sub formă de fișiere de formă. Aceste fișiere sunt stocate în Serviciul Amazon de stocare simplă (Amazon S3).
Redshift COPY comanda este utilizat pentru a ingera datele spațiale din fișierele forme în tipul de date nativ GEOMETRY acceptat în Amazon Redshift. O combinație de Amazon Redshift Spectrum și comenzile COPY sunt folosite pentru a ingera datele sondajului stocate ca fișiere CSV. Pentru fișierele cu structuri necunoscute, AWS Adeziv crawlerele sunt folosite pentru a extrage metadate și pentru a crea definiții de tabel în Catalog de date. Aceste definiții de tabel sunt utilizate ca depozit de metadate pentru tabelele externe în Amazon Redshift.
Pentru fișierele cu structuri cunoscute, este utilizată o procedură stocată Redshift, care ia locația fișierului și numele tabelului ca parametri și rulează o comandă COPY pentru a încărca datele brute în tabelele Redshift corespunzătoare.
Transformarea datelor
Mai multe proceduri stocate sunt utilizate pentru a împărți datele brute din tabel și a le încărca în tabelele țintă corespunzătoare în timp ce se aplică transformările definite de utilizator.
Aceste reguli de transformare includ transformarea datelor GEOMETRIE folosind nativ Redshift funcții geo-spațiale, cum ar fi ST_Zona și ST_lungime, și ale lui CARTO funcții spațiale avansate, care sunt ușor disponibile în Amazon Redshift ca parte a CARTO Analytics Toolbox for Redshift instalare. În plus, toți pașii de asimilare și transformare a datelor sunt automatizați folosind un AWS Lambdas funcția pentru a rula interogarea Redshift atunci când orice set de date din Amazon S3 este actualizat.
Vizualizarea datelor
Echipa HR&A a folosit conectorul Redshift de la CARTO pentru a se conecta la punctul final Redshift Serverless și a construit tablouri de bord folosind interfața SQL și widget-urile CARTO pentru a ajuta maparea în timp ce efectuează calcule dinamice ale datelor hărții conform nevoilor clientului.
Următoarele sunt exemple de capturi de ecran ale tablourilor de bord care arată răspunsurile la sondaj prin cod poștal. Județele care sunt în nuanțe mai deschise reprezintă răspunsuri limitate la sondaj și trebuie incluse în strategia de colectare a datelor vizată.
Prima imagine arată tabloul de bord fără filtre active. A doua imagine arată harta filtrată și chat-uri ale respondenților care au participat la sondaj în spaniolă. Utilizatorul poate selecta și comuta între caracteristici făcând clic pe categoria respectivă din oricare dintre diagramele cu bare.
Rezultatul: un nou standard pentru actualizarea automată a tablourilor de bord pentru incluziune digitală
După dezvoltarea primului prototip de tablou de bord interactiv cu această metodologie, cinci dintre clienții de stat ai HR&A (CA, TX, NV, CO și MA) și-au arătat interesul pentru soluție. HR&A a reușit să o implementeze pentru fiecare dintre ele în decurs de 2 luni – o redresare incredibil de rapidă pentru un tablou de bord personalizat, interactiv pentru incluziune digitală.
HR&A a realizat, de asemenea, o reducere cu aproximativ 75% a timpului general de implementare și de gestionare a tabloului de bord, ceea ce a însemnat că echipa de consultanță și-ar putea redirecționa concentrarea de la analiza manuală a datelor pentru a ajuta clienții să interpreteze și să planifice strategic rezultatele. În cele din urmă, interfața ușor de utilizat a tabloului de bord a făcut datele sondajului mai accesibile pentru o gamă mai largă de părți interesate. Acest lucru a ajutat la construirea unei înțelegeri comune atunci când se evaluează lacunele în peisajul incluziunii digitale din fiecare stat și a permis o strategie de colectare a datelor direcționată din zone cu răspunsuri limitate la sondaj, susținând astfel o colaborare mai productivă în general.
Concluzie
În această postare, am arătat cum HR&A a reușit să analizeze date geo-spațiale în volume mari folosind Amazon Redshift Serverless și CARTO.
Odată cu implementarea cu succes a HR&A, este evident că Redshift Serverless, cu flexibilitatea și scalabilitatea sa, poate fi folosit ca un catalizator pentru schimbări sociale pozitive. Pe măsură ce HR&A continuă să deschidă calea către echitatea digitală, povestea lor este o dovadă a modului în care serviciile AWS și partenerii săi pot fi utilizați pentru a aborda provocările din lumea reală.
Vă încurajăm să explorați Redshift Serverless cu CARTO pentru analiza datelor spațiale și să ne transmiteți experiența dvs. în comentarii.
Despre autori
Harman Singh Dhodi este analist la HR&A Advisors, Harman combină pasiunea pentru analiza datelor cu practicile de infrastructură durabilă, incluziunea socială, viabilitatea economică, rezistența la schimbările climatice și dezvoltarea capacității părților interesate. Munca lui Harman se concentrează adesea pe traducerea seturilor de date complexe în povești vizuale și instrumente accesibile care ajută comunitățile să înțeleagă provocările cu care se confruntă și să creeze soluții pentru un viitor mai luminos.
Kiran Kumar Tati este un arhitect specializat în soluții de analiză, cu sediul în Omaha, NE. El este specializat în construirea de soluții analitice end-to-end. Are peste 13 ani de experiență în proiectarea și implementarea soluțiilor de Big Data și Analytics la scară largă. În timpul liber, îi place să joace cricket și să urmărească sporturi.
Sapna Maheshwari este arhitect senior de soluții la Amazon Web Services. Ea îi ajută pe clienți să proiecteze soluții de analiză a datelor la scară pe AWS. În afara serviciului, îi place să călătorească și să încerce noi bucătării.
Washim Nawaz este arhitect de soluții specializat în analize la AWS. De peste 15 ani, a lucrat la construirea și reglarea soluțiilor pentru depozite de date și lacuri de date. Este pasionat de a ajuta clienții să-și modernizeze platformele de date cu soluții analitice eficiente, performante și scalabile. În afara serviciului, îi place să se uite la jocuri și să călătorească.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- :are
- :este
- :Unde
- $UP
- 1
- 120
- 13
- ani 15
- 15%
- 150
- 29
- 33
- 35%
- a
- Capabil
- Despre Noi
- acces
- accesibil
- Obține
- peste
- activ
- adresa
- adresare
- avansat
- consilieri
- accesibil
- TOATE
- permite
- permis
- permite
- aproape
- de asemenea
- Amazon
- Amazon Web Services
- american
- Sume
- an
- analiză
- analist
- analitic
- Analitic
- Google Analytics
- analiza
- analiza
- și
- Orice
- Aplicarea
- arhitectură
- SUNT
- domenii
- în jurul
- AS
- evaluarea
- ajuta
- At
- Automata
- automate
- în mod automat
- disponibil
- AWS
- bar
- bazat
- BE
- fost
- înainte
- între
- Mare
- Datele mari
- mai luminos
- în bandă largă
- construi
- Clădire
- construit
- afaceri
- business intelligence
- by
- CA
- CAN
- capacități
- Capacitate
- Catalizator
- Categorii
- provocări
- Schimbare
- Grafice
- Curățenie
- client
- clientii
- Climat
- Cloud
- CO
- cod
- colaborare
- colectare
- Colorado
- Coloane
- combinaţie
- combină
- comentarii
- Comunități
- Completă
- complex
- complexitate
- compuse
- calculator
- concept
- Conectați
- consultanță
- consultant
- continuă
- Corespunzător
- cost-eficiente
- ar putea
- județ
- acoperire
- crea
- a creat
- creează
- crichet
- personalizat
- clienţii care
- Tăiat
- tablou de bord
- tablouri de bord
- de date
- Analiza datelor
- Lacul de date
- vizualizarea datelor
- depozit de date
- seturi de date
- Definitii
- livra
- desfășurarea
- proiect
- detaliu
- detalii
- dezvoltat
- în curs de dezvoltare
- Dezvoltare
- digital
- lume digitală
- discuta
- împărţi
- do
- Dont
- jos
- în timpul
- dinamic
- fiecare
- cu ușurință
- Economic
- în mod eficient
- eficient
- eficient
- împuternici
- permițând
- încuraja
- un capăt la altul
- Punct final
- asigurare
- Mediu inconjurator
- echitate
- Eter (ETH)
- evalua
- EVER
- evident
- existent
- experienţă
- explora
- extinde
- extensiv
- extern
- extrage
- facilita
- cu care se confruntă
- DESCRIERE
- Figura
- Fișier
- Fişiere
- umple
- Filtre
- În cele din urmă
- constatările
- First
- cinci
- Flexibilitate
- Concentra
- se concentrează
- următor
- Pentru
- formă
- din
- complet
- funcţie
- funcționalitate
- funcții
- În plus
- viitor
- Viitorul muncii
- Jocuri
- lacune
- geometrie
- obține
- Goluri
- foarte mult
- Avea
- he
- ajutor
- a ajutat
- ajutor
- ajută
- aici
- lui
- istoricește
- Acasă
- casă
- gospodării
- Cum
- HTML
- http
- HTTPS
- sute
- ilustrând
- imagine
- afectate
- punerea în aplicare a
- implementarea
- Punere în aplicare a
- in
- include
- inclus
- includere
- tot mai mult
- incredibil
- Infrastructură
- integra
- integrare
- Inteligență
- interacționând
- interactiv
- interes
- interfaţă
- Internet
- acces la internet
- în
- IT
- ESTE
- Locuri de munca
- alătura
- jpg
- Cunoaște
- cunoscut
- Kumar
- lac
- peisaj
- limbă
- mare
- lăsând
- lăsa
- mai usoara
- ca
- Limitat
- trăi
- încărca
- local
- la nivel local
- locaţie
- făcut
- administrare
- manager
- manual
- Hartă
- cartografiere
- a însemnat
- măsura
- măsurare
- Melanie
- Metadata
- Metodologie
- milioane
- oglindă
- moderniza
- Module
- mai mult
- cele mai multe
- multidisciplinar
- multiplu
- municipal
- nume
- nativ
- ne
- necesitate
- Nevoie
- nevoilor
- Nou
- NV
- of
- oferi
- Birou
- de multe ori
- Omaha
- on
- ONE
- or
- Organizat
- al nostru
- afară
- exterior
- peste
- global
- parametrii
- parte
- participa
- parteneri
- pasiune
- pasionat
- Pave
- pentru
- efectuarea
- fază
- imagine
- Loc
- plan
- Planurile
- Platforme
- Plato
- Informații despre date Platon
- PlatoData
- joc
- populații
- pozitiv
- Post
- alimentat
- practicile
- privat
- procedură
- Proceduri
- proces
- productiv
- dovadă
- dovada de concept
- prototip
- prevăzut
- Rapid
- repede
- gamă
- Crud
- date neprelucrate
- ajunge
- uşor
- lumea reală
- realizat
- primește
- redirecționa
- reducere
- regiuni
- legate de
- depozit
- reprezenta
- respectiv
- respondenți
- răspunsuri
- rezultat
- a rezultat
- REZULTATE
- robust
- norme
- Alerga
- ruleaza
- acelaşi
- Spune
- scalabilitate
- scalabil
- Scară
- capturi de ecran
- Al doilea
- secțiuni
- în siguranță,
- Căuta
- selecta
- serverless
- Servicii
- set
- Modela
- comun
- ea
- Arăta
- a arătat
- Emisiuni
- semnificativ
- simplu
- Social
- Schimbare sociala
- Societate
- soluţie
- soluţii
- Surse
- Spaţiu
- Spaniolă
- spațial
- specialist
- specializată
- specific
- împărţi
- Sportul
- SQL
- părțile interesate
- părțile interesate
- standard
- Standuri
- Stat
- Statele
- Pas
- paşi
- Încă
- depozitare
- stoca
- stocate
- Istorii
- Poveste
- Strategic
- Strategie
- structurile
- de succes
- astfel de
- suficient
- Suportat
- De sprijin
- Sondaj de opinie
- durabilă
- tabel
- adaptate
- ia
- Ţintă
- vizate
- echipă
- Tehnic
- testament
- decât
- acea
- Viitorul
- Viitorul muncii
- Statul
- lor
- Lor
- Acolo.
- astfel
- Acestea
- ei
- acest
- aceste
- Prin
- timp
- ori
- la
- a luat
- instrument
- Toolbox
- Toolkit
- Unelte
- Transforma
- Transformare
- transformări
- Traveling
- adevărat
- încercat
- TX
- tip
- înţelege
- înţelegere
- necunoscut
- actualizat
- actualizarea
- us
- Statele SUA
- utilizat
- Utilizator
- ușor de utilizat
- utilizări
- folosind
- variabil
- foarte
- viabilitate
- Virtual
- vizual
- vizualizare
- vital
- volume
- Depozit
- a fost
- vizionarea
- Cale..
- we
- web
- servicii web
- bine cunoscut
- au fost
- Ce
- cand
- care
- în timp ce
- OMS
- larg
- mai larg
- Wikipedia
- cu
- în
- fără
- Apartamente
- a lucrat
- flux de lucru
- lume
- ani
- încă
- tu
- Ta
- zephyrnet
- Zip
- zoom