Nel nostro mondo sempre più digitale, l’accesso conveniente alla banda larga ad alta velocità è una necessità per partecipare pienamente alla nostra società, eppure ci sono ancora milioni di famiglie americane senza accesso a Internet. Consulenti HR&A—una società di consulenza multidisciplinare con un ampio lavoro nel campo della banda larga e dell’equità digitale sta aiutando i suoi clienti statali, provinciali e municipali a fornire un accesso a Internet a prezzi accessibili analizzando le esigenze di inclusione digitale specifiche a livello locale e costruendo piani di equità digitale su misura.
Il primo passo in questo processo è la mappatura del divario digitale. Quali famiglie non hanno accesso a Internet a casa? Dove vivono? Quali sono le loro esigenze specifiche?
Le fonti di dati pubblici non sono sufficienti per costruire una vera comprensione delle esigenze di inclusione digitale. Per colmare le lacune nei dati esistenti, HR&A crea sondaggi sull’equità digitale per creare un quadro più completo prima di sviluppare piani di equità digitale. HR&A ha utilizzato Amazon Redshift senza server ed CARTA GEOGRAFICA per elaborare i risultati del sondaggio in modo più efficiente e creare dashboard interattive personalizzate per facilitare la comprensione dei risultati. La collaborazione di HR&A con Amazon RedShift e CARTO hanno comportato una riduzione del 75% dei tempi complessivi di implementazione e gestione del dashboard e hanno aiutato il team a raggiungere i seguenti obiettivi tecnici:
- Carica i risultati del sondaggio (file CSV) e i dati della geometria (file di forma) in un data warehouse
- Eseguire trasformazioni geospaziali utilizzando processi di estrazione, trasformazione e caricamento (ELT) per unire i dati della geometria con i risultati del sondaggio all'interno del data warehouse per consentire la visualizzazione dei risultati del sondaggio su una mappa
- Integrazione con uno strumento di business intelligence (BI) per funzioni geospaziali avanzate, visualizzazioni e dashboard di mappatura
- Aumenta o diminuisci la capacità del data warehouse per gestire carichi di lavoro di varia complessità in modo economicamente vantaggioso
In questo post, illustriamo il modo in cui HR&A utilizza l'analisi spaziale Amazon Redshift e CARTO per una misurazione geospaziale economicamente vantaggiosa dell'inclusione digitale e dell'accesso a Internet in più stati degli Stati Uniti.
Prima di arrivare ai dettagli dell'architettura, ecco cosa hanno da dire sulla soluzione HR&A e il suo cliente, l'Office of the Future of Work del Colorado.
“Lavorando con il team di HR&A Advisors, il Digital Equity Team del Colorado ha creato un dashboard personalizzato che ci ha permesso di valutare in modo molto efficace la nostra portata durante il sondaggio sulle popolazioni storicamente emarginate in tutto il Colorado. Questo strumento dinamico, basato su AWS e CARTO, ha fornito visualizzazioni affidabili di quali regioni e popolazioni stavano interagendo con la nostra indagine, consentendoci di ingrandire rapidamente e colmare le lacune nella copertura. Garantire la possibilità di raccogliere dati da coloro che sono maggiormente colpiti dal divario digitale in Colorado è stato fondamentale per affrontare le disuguaglianze digitali nel nostro Stato”.
— Melanie Colletti, Digital Equity Manager presso l'Ufficio del futuro del lavoro del Colorado
"AWS ci consente di ospitare in modo sicuro tutti i dati dei nostri sondaggi in un unico posto, di pulirli e analizzarli rapidamente su Amazon Redshift e di rispecchiare i risultati attraverso l'integrazione con strumenti di visualizzazione dei dati come CARTO senza che i dati lascino mai AWS. Ciò libera spazio sul nostro computer locale, automatizza notevolmente la fase di pulizia e analisi del sondaggio e consente ai nostri clienti di accedere facilmente ai risultati dei dati. Dopo la prova di concetto e lo sviluppo del primo prototipo, quasi tutti i nostri clienti statali hanno mostrato interesse a utilizzare la stessa soluzione per i loro stati”.
— Harman Singh Dhodi, analista presso HR&A Advisors, Inc.
Archiviazione e analisi di grandi set di dati di indagini
HR&A ha utilizzato Redshift Serverless per archiviare grandi quantità di dati di inclusione digitale in un unico posto e trasformarli e analizzarli rapidamente utilizzando il toolkit analitico di CARTO per estendere le capacità spaziali di Amazon Redshift e integrarsi con gli strumenti di visualizzazione dei dati di CARTO, il tutto senza che i dati lascino mai l'ambiente AWS . Ciò ha ridotto significativamente i tempi di elaborazione analitica.
Il Casella degli strumenti di analisi CARTO per Redshift è composto da un insieme di funzioni e procedure definite dall'utente e organizzate in un insieme di moduli in base alle funzionalità che offrono.
La figura seguente mostra la soluzione e le fasi del flusso di lavoro sviluppate durante la prova di concetto con un cloud privato virtuale (VPC) su Amazon Redshift.
Nelle sezioni seguenti, discutiamo ogni fase del flusso di lavoro in modo più dettagliato.
Importazione dei dati
HR&A riceve i dati del sondaggio come file CSV di grandi dimensioni con centinaia di colonne in ciascun file e i relativi dati spaziali in formato esadecimale Binario ben noto esteso (EWKB) sotto forma di file di forma. Questi file sono archiviati in Servizio di archiviazione semplice Amazon (Amazon S3).
Il Comando COPIA spostamento verso il rosso viene utilizzato per acquisire i dati spaziali dai file di forma nel tipo di dati GEOMETRY nativo supportato in Amazon Redshift. Una combinazione di Spettro Amazon Redshift e i comandi COPY vengono utilizzati per acquisire i dati del sondaggio archiviati come file CSV. Per i file con strutture sconosciute, Colla AWS crawler vengono utilizzati per estrarre metadati e creare definizioni di tabelle nel file Catalogo dati. Queste definizioni di tabella vengono utilizzate come repository di metadati per le tabelle esterne in Amazon Redshift.
Per i file con strutture note, viene utilizzata una procedura memorizzata Redshift, che prende il percorso del file e il nome della tabella come parametri ed esegue un comando COPY per caricare i dati grezzi nelle corrispondenti tabelle Redshift.
Trasformazione dei dati
Vengono utilizzate più procedure memorizzate per suddividere i dati grezzi della tabella e caricarli nelle tabelle di destinazione corrispondenti durante l'applicazione delle trasformazioni definite dall'utente.
Queste regole di trasformazione includono la trasformazione dei dati GEOMETRY utilizzando nativi Funzioni geospaziali Redshift, piace ST_Area ed ST_lunghezzae CARTO funzioni spaziali avanzate, che sono subito disponibili in Amazon Redshift come parte di CARTO Analytics Toolbox per Redshift installazione. Inoltre, tutte le fasi di acquisizione e trasformazione dei dati sono automatizzate utilizzando un AWS Lambda per eseguire la query Redshift quando un set di dati in Amazon S3 viene aggiornato.
Visualizzazione dati
Il team HR&A ha utilizzato il connettore Redshift di CARTO per connettersi all'endpoint Redshift Serverless e ha creato dashboard utilizzando l'interfaccia SQL e i widget di CARTO per assistere nella mappatura durante l'esecuzione di calcoli dinamici dei dati della mappa in base alle esigenze del cliente.
Di seguito sono riportati screenshot di esempio dei dashboard che mostrano le risposte al sondaggio in base al codice postale. Le contee in tonalità più chiare rappresentano risposte limitate al sondaggio e devono essere incluse nella strategia di raccolta dati mirata.
La prima immagine mostra la dashboard senza filtri attivi. La seconda immagine mostra la mappa filtrata e le chat degli intervistati che hanno risposto al sondaggio in spagnolo. L'utente può selezionare e alternare tra le funzionalità facendo clic sulla rispettiva categoria in uno qualsiasi dei grafici a barre.
Il risultato: un nuovo standard per l’aggiornamento automatico delle dashboard di inclusione digitale
Dopo aver sviluppato il primo prototipo di dashboard interattivo con questa metodologia, cinque clienti statali di HR&A (CA, TX, NV, CO e MA) hanno mostrato interesse per la soluzione. HR&A è riuscita a implementarlo per ciascuno di loro entro 2 mesi: un tempo di realizzazione incredibilmente rapido per una dashboard di inclusione digitale personalizzata e interattiva.
HR&A ha inoltre realizzato una riduzione del 75% circa dei tempi complessivi di implementazione e gestione del dashboard, il che significa che il team di consulenza ha potuto reindirizzare la propria attenzione dall'analisi manuale dei dati all'aiutare i clienti a interpretare e pianificare strategicamente i risultati. Infine, l'interfaccia intuitiva del dashboard ha reso i dati del sondaggio più accessibili a una gamma più ampia di parti interessate. Ciò ha contribuito a creare una comprensione condivisa nella valutazione delle lacune nel panorama dell’inclusione digitale di ciascuno stato e ha consentito una strategia mirata di raccolta dati da aree con risposte limitate ai sondaggi, supportando così una collaborazione complessivamente più produttiva.
Conclusione
In questo post, abbiamo mostrato come HR&A è riuscita ad analizzare dati geospaziali in grandi volumi utilizzando Amazon Redshift Serverless e CARTO.
Con l'implementazione di successo di HR&A, è evidente che Redshift Serverless, con la sua flessibilità e scalabilità, può essere utilizzato come catalizzatore per un cambiamento sociale positivo. Mentre HR&A continua ad aprire la strada all'equità digitale, la loro storia testimonia come i servizi AWS e i suoi partner possano essere utilizzati per affrontare le sfide del mondo reale.
Ti invitiamo a esplorare Redshift Serverless con CARTO per analizzare i dati spaziali e a farci sapere la tua esperienza nei commenti.
Circa gli autori
Harman Singh Dhodi è un analista presso HR&A Advisors, Harman combina la sua passione per l'analisi dei dati con pratiche infrastrutturali sostenibili, inclusione sociale, fattibilità economica, resilienza climatica e sviluppo della capacità delle parti interessate. Il lavoro di Harman si concentra spesso sulla traduzione di set di dati complessi in storie visive e strumenti accessibili che aiutano le comunità a comprendere le sfide che devono affrontare e a creare soluzioni per un futuro migliore.
Kiran Kumar Tati è un Analytics Specialist Solutions Architect con sede a Omaha, NE. È specializzato nella creazione di soluzioni analitiche end-to-end. Ha più di 13 anni di esperienza nella progettazione e implementazione di soluzioni Big Data e Analytics su larga scala. Nel tempo libero gli piace giocare a cricket e guardare gli sport.
Sapna Maheshwari è Sr. Solutions Architect presso Amazon Web Services. Aiuta i clienti a progettare soluzioni di analisi dei dati su larga scala su AWS. Fuori dal lavoro le piace viaggiare e provare nuove cucine.
Washim Nawaz è un Analytics Specialist Solutions Architect presso AWS. Ha lavorato alla creazione e all'ottimizzazione di soluzioni di data warehouse e data lake per oltre 15 anni. La sua passione è aiutare i clienti a modernizzare le loro piattaforme dati con soluzioni analitiche efficienti, performanti e scalabili. Al di fuori del lavoro, gli piace guardare le partite e viaggiare.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
- PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
- PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
- Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
- Fonte: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- :ha
- :È
- :Dove
- $ SU
- 1
- 120
- 13
- 15 anni
- 15%
- 150
- 29
- 33
- 35%
- a
- capace
- Chi siamo
- accesso
- accessibile
- Raggiungere
- operanti in
- attivo
- indirizzo
- indirizzamento
- Avanzate
- consulenti
- conveniente
- Tutti
- consentire
- permesso
- consente
- quasi
- anche
- Amazon
- Amazon Web Services
- americano
- importi
- an
- .
- analista
- Analitico
- Analitico
- analitica
- analizzare
- l'analisi
- ed
- in qualsiasi
- AMMISSIONE
- architettura
- SONO
- aree
- in giro
- AS
- valutare
- assistere
- At
- Automatizzata
- automatizza
- automaticamente
- disponibile
- AWS
- bar
- basato
- BE
- stato
- prima
- fra
- Big
- Big Data
- più luminoso
- banda larga
- costruire
- Costruzione
- costruito
- affari
- business intelligence
- by
- CA
- Materiale
- funzionalità
- Ultra-Grande
- Catalizzatore
- Categoria
- sfide
- il cambiamento
- Grafici
- Pulizia
- cliente
- clienti
- Clima
- Cloud
- CO
- codice
- collaborazione
- collezione
- Colorado
- colonne
- combinazione
- combina
- Commenti
- Comunità
- completamento di una
- complesso
- complessità
- composto
- computer
- concetto
- Connettiti
- consulenza
- consulting
- continua
- Corrispondente
- costo effettivo
- potuto
- contea
- copertura
- creare
- creato
- crea
- cricket
- costume
- Clienti
- taglio
- cruscotto
- cruscotti
- dati
- Dati Analytics
- Lago di dati
- visualizzazione dati
- data warehouse
- dataset
- definizioni
- consegnare
- deployment
- progettazione
- dettaglio
- dettagli
- sviluppato
- in via di sviluppo
- Mercato
- digitale
- mondo digitale
- discutere
- dividere
- do
- Dont
- giù
- durante
- dinamico
- ogni
- facilmente
- Economico
- in maniera efficace
- efficiente
- in modo efficiente
- e potenza
- consentendo
- incoraggiare
- da un capo all'altro
- endpoint
- assicurando
- Ambiente
- equità
- Etere (ETH)
- valutare
- EVER
- evidente
- esistente
- esperienza
- esplora
- estendere
- estensivo
- esterno
- estratto
- facilitare
- di fronte
- Caratteristiche
- figura
- Compila il
- File
- riempire
- filtri
- Infine
- I risultati
- Nome
- cinque
- Flessibilità
- Focus
- si concentra
- i seguenti
- Nel
- modulo
- da
- completamente
- function
- funzionalità
- funzioni
- Inoltre
- futuro
- Futuro del lavoro
- Giochi
- lacune
- geometria
- ottenere
- Obiettivi
- molto
- Avere
- he
- Aiuto
- aiutato
- aiutare
- aiuta
- qui
- il suo
- storicamente
- Casa
- Casa
- famiglie
- Come
- HTML
- http
- HTTPS
- centinaia
- illustrante
- Immagine
- impattato
- realizzare
- implementazione
- Implementazione
- in
- includere
- incluso
- inclusione
- sempre più
- incredibilmente
- Infrastruttura
- integrare
- integrazione
- Intelligence
- si interagisce
- interattivo
- interesse
- Interfaccia
- Internet
- accesso ad Internet
- ai miglioramenti
- IT
- SUO
- Offerte di lavoro
- join
- jpg
- Sapere
- conosciuto
- Kumar
- lago
- paesaggio
- Lingua
- grandi
- partenza
- lasciare
- accendino
- piace
- Limitato
- vivere
- caricare
- locale
- a livello locale
- località
- fatto
- gestione
- direttore
- manualmente
- carta geografica
- mappatura
- significava
- misurare
- melanie
- Metadati
- Metodologia
- milioni
- specchio
- modernizzare
- moduli
- Scopri di più
- maggior parte
- multidisciplinare
- multiplo
- comunale
- Nome
- nativo
- ne
- necessità
- Bisogno
- esigenze
- New
- NV
- of
- offrire
- Office
- di frequente
- omaha
- on
- ONE
- or
- Organizzato
- nostro
- su
- al di fuori
- ancora
- complessivo
- parametri
- parte
- partecipare
- partner
- passione
- appassionato
- pavimentare
- per
- esecuzione
- fase
- immagine
- posto
- piano
- piani
- Piattaforme
- Platone
- Platone Data Intelligence
- PlatoneDati
- gioco
- popolazioni
- positivo
- Post
- alimentato
- pratiche
- un bagno
- procedura
- procedure
- processi
- produttivo
- prova
- prova del concetto
- prototipo
- purché
- Presto
- rapidamente
- gamma
- Crudo
- dati grezzi
- raggiungere
- prontamente
- mondo reale
- realizzato
- riceve
- reindirizzare
- riduzione
- regioni
- relazionato
- deposito
- rappresentare
- quelli
- intervistati
- risposte
- colpevole
- risultato
- Risultati
- robusto
- norme
- Correre
- corre
- stesso
- dire
- Scalabilità
- scalabile
- Scala
- screenshot
- Secondo
- sezioni
- in modo sicuro
- Cercare
- select
- serverless
- Servizi
- set
- Forma
- condiviso
- lei
- mostrare attraverso le sue creazioni
- ha mostrato
- Spettacoli
- significativamente
- Un'espansione
- Social
- Cambiamento sociale
- Società
- soluzione
- Soluzioni
- fonti
- lo spazio
- Spagnolo
- Spaziale
- specialista
- specializzata
- specifico
- dividere
- Sports
- SQL
- delle parti interessate
- stakeholder
- Standard
- si
- Regione / Stato
- stati
- step
- Passi
- Ancora
- conservazione
- Tornare al suo account
- memorizzati
- Storie
- Storia
- strategicamente
- Strategia
- strutture
- di successo
- tale
- sufficiente
- supportato
- Supporto
- Indagine
- sostenibile
- tavolo
- su misura
- prende
- Target
- mirata
- team
- Consulenza
- testamento
- di
- che
- Il
- Il futuro
- Il futuro del lavoro
- Lo Stato
- loro
- Li
- Là.
- in tal modo
- Strumenti Bowman per analizzare le seguenti finiture:
- di
- questo
- quelli
- Attraverso
- tempo
- volte
- a
- ha preso
- Strumenti
- toolkit
- strumenti
- Trasformare
- Trasformazione
- trasformazioni
- Di viaggio
- vero
- cerca
- TX
- Digitare
- capire
- e una comprensione reciproca
- Sconosciuto
- aggiornato
- aggiornamento
- us
- Stati Uniti
- utilizzato
- Utente
- user-friendly
- usa
- utilizzando
- variando
- molto
- vitalità
- virtuale
- visivo
- visualizzazione
- importantissima
- volumi
- Magazzino
- Prima
- guardare
- Modo..
- we
- sito web
- servizi web
- noto
- sono stati
- Che
- quando
- quale
- while
- OMS
- largo
- più ampia
- wikipedia
- con
- entro
- senza
- Lavora
- lavorato
- flusso di lavoro
- mondo
- anni
- ancora
- Tu
- Trasferimento da aeroporto a Sharm
- zefiro
- Codice postale
- zoom