Dans notre monde de plus en plus numérique, un accès abordable au haut débit est une nécessité pour participer pleinement à notre société. Pourtant, des millions de foyers américains n’ont toujours pas accès à Internet. Conseillers RH&A— un cabinet de conseil multidisciplinaire avec un travail approfondi dans le domaine du haut débit et de l'équité numérique aide ses clients des États, des comtés et des municipalités à fournir un accès Internet abordable en analysant les besoins locaux spécifiques en matière d'inclusion numérique et en élaborant des plans d'équité numérique sur mesure.
La première étape de ce processus consiste à cartographier la fracture numérique. Quels foyers n’ont pas accès à Internet à la maison ? Où vivent-ils? Quels sont leurs besoins spécifiques ?
Les sources de données publiques ne suffisent pas pour parvenir à une véritable compréhension des besoins en matière d’inclusion numérique. Pour combler les lacunes des données existantes, HR&A crée des enquêtes sur l'équité numérique afin de dresser un tableau plus complet avant d'élaborer des plans d'équité numérique. HR&A a utilisé Amazon Redshift sans serveur ainsi que CARTO pour traiter les résultats de l'enquête plus efficacement et créer des tableaux de bord interactifs personnalisés pour faciliter la compréhension des résultats. La collaboration de HR&A avec Redshift d'Amazon et CARTO a abouti à une réduction de 75 % du temps global de déploiement et de gestion des tableaux de bord et a aidé l'équipe à atteindre les objectifs techniques suivants :
- Charger les résultats d'enquête (fichiers CSV) et les données géométriques (fichiers de formes) dans un entrepôt de données
- Effectuer des transformations géospatiales à l'aide de tâches d'extraction, de transformation et de chargement (ELT) pour joindre les données géométriques aux résultats d'enquête dans l'entrepôt de données afin de permettre la visualisation des résultats d'enquête sur une carte.
- Intégration à un outil de business intelligence (BI) pour des fonctions géospatiales avancées, des visualisations et des tableaux de bord de cartographie
- Augmentez ou réduisez la capacité de l'entrepôt de données pour gérer des charges de travail de complexité variable de manière rentable.
Dans cet article, nous expliquons comment HR&A utilise l'analyse spatiale Amazon Redshift et CARTO pour une mesure géospatiale rentable de l'inclusion numérique et de l'accès à Internet dans plusieurs États américains.
Avant d'aborder les détails de l'architecture, voici ce que HR&A et son client, le Bureau de l'avenir du travail du Colorado, ont à dire sur la solution.
« En travaillant avec l'équipe de HR&A Advisors, l'équipe d'équité numérique du Colorado a créé un tableau de bord personnalisé qui nous a permis d'évaluer très efficacement notre portée tout en interrogeant les populations historiquement marginalisées à travers le Colorado. Cet outil dynamique, alimenté par AWS et CARTO, a fourni des visualisations robustes des régions et des populations qui interagissaient avec notre enquête, nous permettant de zoomer rapidement et de combler les lacunes de couverture. S'assurer que nous étions en mesure de rechercher des données auprès de ceux qui sont les plus touchés par la fracture numérique au Colorado a été essentiel pour lutter contre les inégalités numériques dans notre État.
— Melanie Colletti, responsable de l'équité numérique au Bureau de l'avenir du travail du Colorado
« AWS nous permet d'héberger en toute sécurité toutes nos données d'enquête en un seul endroit, de les nettoyer et de les analyser rapidement sur Amazon Redshift, et de refléter les résultats grâce à l'intégration avec des outils de visualisation de données tels que CARTO sans que les données ne quittent AWS. Cela libère notre espace informatique local, automatise considérablement l’étape de nettoyage et d’analyse de l’enquête et permet à nos clients d’accéder facilement aux résultats des données. Suite à la preuve de concept et au développement du premier prototype, presque tous nos clients étatiques ont manifesté leur intérêt à utiliser la même solution pour leurs États.
— Harman Singh Dhodi, analyste chez HR&A Advisors, Inc.
Stockage et analyse de grands ensembles de données d'enquête
HR&A a utilisé Redshift Serverless pour stocker de grandes quantités de données d'inclusion numérique en un seul endroit, puis les transformer et les analyser rapidement à l'aide de la boîte à outils analytique de CARTO pour étendre les capacités spatiales d'Amazon Redshift et les intégrer aux outils de visualisation de données de CARTO, le tout sans que les données ne quittent l'environnement AWS. . Cela a considérablement réduit les délais d’exécution des analyses.
La Boîte à outils d'analyse CARTO pour Redshift est composé d'un ensemble de fonctions et de procédures définies par l'utilisateur, organisées en un ensemble de modules en fonction des fonctionnalités qu'ils offrent.
La figure suivante montre la solution et les étapes du flux de travail développées lors de la preuve de concept avec un cloud privé virtuel (VPC) sur Amazon Redshift.
Dans les sections suivantes, nous discutons plus en détail de chaque phase du flux de travail.
Ingestion de données
HR&A reçoit les données d'enquête sous forme de fichiers CSV étendus avec des centaines de colonnes dans chaque fichier et des données spatiales associées au format hexadécimal. Binaire étendu bien connu (EWKB) sous forme de fichiers de formes. Ces fichiers sont stockés dans Service de stockage simple Amazon (Amazon S3).
La Commande COPIER Redshift est utilisé pour ingérer les données spatiales des fichiers de formes dans le type de données natif GEOMETRY pris en charge dans Amazon Redshift. Une combinaison de Spectre Amazon Redshift et les commandes COPY sont utilisées pour ingérer les données d'enquête stockées sous forme de fichiers CSV. Pour les fichiers aux structures inconnues, Colle AWS chenilles sont utilisés pour extraire des métadonnées et créer des définitions de table dans le Catalogue de données. Ces définitions de table sont utilisées comme référentiel de métadonnées pour les tables externes dans Amazon Redshift.
Pour les fichiers dont les structures sont connues, une procédure stockée Redshift est utilisée, qui prend l'emplacement du fichier et le nom de la table comme paramètres et exécute une commande COPY pour charger les données brutes dans les tables Redshift correspondantes.
Transformation de données
Plusieurs procédures stockées sont utilisées pour diviser les données brutes de la table et les charger dans les tables cibles correspondantes tout en appliquant les transformations définies par l'utilisateur.
Ces règles de transformation incluent la transformation des données GEOMETRY à l'aide de Fonctions géospatiales Redshift, comme ST_Zone ainsi que ST_longueur, et CARTO fonctions spatiales avancées, qui sont facilement disponibles dans Amazon Redshift dans le cadre de la boîte à outils CARTO Analytics pour Redshift installation. De plus, toutes les étapes d'ingestion et de transformation des données sont automatisées à l'aide d'un AWS Lambda fonction pour exécuter la requête Redshift lorsqu'un ensemble de données dans Amazon S3 est mis à jour.
Visualisation de données
L'équipe RH&A a utilisé le connecteur Redshift de CARTO pour se connecter au point de terminaison Redshift Serverless et a créé des tableaux de bord à l'aide de l'interface SQL et des widgets de CARTO pour faciliter la cartographie tout en effectuant des calculs dynamiques des données cartographiques selon les besoins du client.
Voici des exemples de captures d'écran des tableaux de bord qui affichent les réponses à l'enquête par code postal. Les comtés qui apparaissent dans les tons plus clairs représentent des réponses limitées à l'enquête et doivent être inclus dans la stratégie de collecte de données ciblée.
La première image montre le tableau de bord sans aucun filtre actif. La deuxième image montre une carte filtrée et des discussions par les personnes interrogées qui ont répondu à l'enquête en espagnol. L'utilisateur peut sélectionner et basculer entre les fonctionnalités en cliquant sur la catégorie respective dans l'un des graphiques à barres.
Le résultat : une nouvelle norme pour la mise à jour automatique des tableaux de bord d'inclusion numérique
Après avoir développé le premier prototype de tableau de bord interactif avec cette méthodologie, cinq des clients étatiques de HR&A (CA, TX, NV, CO et MA) ont manifesté leur intérêt pour la solution. HR&A a pu le mettre en œuvre pour chacun d'entre eux en 2 mois, un délai incroyablement rapide pour un tableau de bord d'inclusion numérique personnalisé et interactif.
Les RH&A ont également réalisé une réduction d'environ 75 % du temps global de déploiement et de gestion des tableaux de bord, ce qui a permis à l'équipe de conseil de se concentrer davantage sur l'analyse manuelle des données et sur l'aide aux clients pour interpréter et planifier stratégiquement les résultats. Enfin, l'interface conviviale du tableau de bord a rendu les données d'enquête plus accessibles à un plus large éventail de parties prenantes. Cela a permis d'établir une compréhension commune lors de l'évaluation des lacunes dans le paysage de l'inclusion numérique de chaque État et a permis une stratégie de collecte de données ciblée dans les zones avec des réponses limitées à l'enquête, favorisant ainsi une collaboration globale plus productive.
Conclusion
Dans cet article, nous avons montré comment HR&A a pu analyser des données géospatiales en grands volumes à l'aide d'Amazon Redshift Serverless et de CARTO.
Avec la mise en œuvre réussie de HR&A, il est évident que Redshift Serverless, avec sa flexibilité et son évolutivité, peut être utilisé comme catalyseur d'un changement social positif. Alors que les RH&A continuent d'ouvrir la voie à l'équité numérique, leur histoire témoigne de la manière dont les services AWS et ses partenaires peuvent être utilisés pour relever les défis du monde réel.
Nous vous encourageons à explorer Redshift Serverless avec CARTO pour analyser les données spatiales et faites-nous part de votre expérience dans les commentaires.
À propos des auteurs
Harman Singh Dhodi est analyste chez HR&A Advisors, Harman combine sa passion pour l'analyse de données avec des pratiques d'infrastructure durables, l'inclusion sociale, la viabilité économique, la résilience climatique et le renforcement des capacités des parties prenantes. Le travail de Harman se concentre souvent sur la traduction d'ensembles de données complexes en histoires visuelles et en outils accessibles qui aident les communautés à comprendre les défis auxquels elles sont confrontées et à créer des solutions pour un avenir meilleur.
Kiran Kumar Tati est un architecte de solutions spécialisé en analyse basé à Omaha, NE. Il se spécialise dans la création de solutions analytiques de bout en bout. Il possède plus de 13 ans d'expérience dans la conception et la mise en œuvre de solutions Big Data et Analytics à grande échelle. Dans ses temps libres, il aime jouer au cricket et regarder des sports.
Sapna Maheshwari est architecte de solutions senior chez Amazon Web Services. Elle aide les clients à concevoir des solutions d'analyse de données à grande échelle sur AWS. En dehors du travail, elle aime voyager et essayer de nouvelles cuisines.
Washim Nawaz est un architecte de solutions spécialisé en analyse chez AWS. Il travaille à la création et au réglage de solutions d'entrepôt de données et de lacs de données depuis plus de 15 ans. Il a pour passion d'aider les clients à moderniser leurs plateformes de données avec des solutions analytiques efficaces, performantes et évolutives. En dehors du travail, il aime regarder des matchs et voyager.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
- PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
- PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
- PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
- La source: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- :possède
- :est
- :où
- $UP
- 1
- 120
- 13
- 15 ans
- 15%
- 150
- 29
- 33
- 35%
- a
- Capable
- A Propos
- accès
- accessible
- atteindre
- à travers
- infection
- propos
- adresser
- Avancée
- conseillers
- abordables
- Tous
- permettre
- permis
- permet
- presque
- aussi
- Amazon
- Amazon Web Services
- Américaine
- quantités
- an
- selon une analyse de l’Université de Princeton
- analyste
- Analytique
- Analytique
- analytique
- il analyse
- l'analyse
- ainsi que
- tous
- Application
- architecture
- SONT
- domaines
- autour
- AS
- Évaluation
- aider
- At
- Automatisation
- Automates
- automatiquement
- disponibles
- AWS
- barre
- basé
- BE
- était
- before
- jusqu'à XNUMX fois
- Big
- Big Data
- lumineux
- large bande
- construire
- Développement
- construit
- la performance des entreprises
- l'intelligence d'entreprise
- by
- CA
- CAN
- capacités
- Compétences
- Catalyseur
- Catégories
- globaux
- Change
- Charts
- Nettoyage
- client
- CLIENTS
- Climat
- le cloud
- CO
- code
- collaboration
- collection
- Colorado
- Colonnes
- combinaison
- moissonneuses-batteuses
- commentaires
- Communautés
- complet
- complexe
- complexité
- composé
- ordinateur
- concept
- NOUS CONTACTER
- conseil
- consulting
- continue
- Correspondant
- rentable
- pourriez
- comté
- couverture
- engendrent
- créée
- crée des
- cricket
- Customiser
- Clients
- Cut/Taille
- tableau de bord
- tableaux de bord
- données
- Analyse de Donnée
- Lac de données
- visualisation de données
- entrepôt de données
- ensembles de données
- définitions
- livrer
- déploiement
- conception
- détail
- détails
- développé
- développement
- Développement
- numérique
- monde numérique
- discuter
- diviser
- do
- Ne pas
- down
- pendant
- Dynamic
- chacun
- même
- Économique
- de manière efficace
- efficace
- efficacement
- vous accompagner
- permettant
- encourager
- end-to-end
- Endpoint
- assurer
- Environment
- équité
- Ether (ETH)
- évaluer
- JAMAIS
- évident
- existant
- d'experience
- explorez
- étendre
- les
- externe
- extrait
- faciliter
- Fonctionnalités:
- Figure
- Déposez votre dernière attestation
- Fichiers
- remplir
- filtres
- finalement
- résultats
- Prénom
- cinq
- Flexibilité
- Focus
- se concentre
- Abonnement
- Pour
- formulaire
- De
- d’étiquettes électroniques entièrement
- fonction
- fonctions
- En outre
- avenir
- Avenir du travail
- Games
- lacunes
- géométrie
- obtenez
- Objectifs
- considérablement
- Vous avez
- he
- vous aider
- a aidé
- aider
- aide
- ici
- sa
- historiquement
- Accueil
- Villa
- ménages
- Comment
- HTML
- http
- HTTPS
- Des centaines
- illustrant
- image
- impact
- Mettre en oeuvre
- la mise en oeuvre
- la mise en œuvre
- in
- comprendre
- inclus
- inclusion
- de plus en plus
- incroyablement
- Infrastructure
- intégrer
- l'intégration
- Intelligence
- interagissant
- Interactif
- intérêt
- Interfaces
- Internet
- accès Internet
- développement
- IT
- SES
- Emplois
- rejoindre
- jpg
- Savoir
- connu
- kumar
- lac
- paysage d'été
- langue
- gros
- départ
- laisser
- plus léger
- comme
- limité
- le travail
- charge
- locales
- localement
- emplacement
- LES PLANTES
- gestion
- manager
- manuellement
- Localisation
- cartographie
- signifiait
- mesurer
- mesures
- melanie
- Métadonnées
- Méthodologie
- des millions
- miroir
- moderniser
- Modules
- PLUS
- (en fait, presque toutes)
- multidisciplinaire
- plusieurs
- municipal
- prénom
- indigène
- ne
- une nécessité
- Besoin
- Besoins
- Nouveauté
- NV
- of
- code
- Bureaux
- souvent
- Omaha
- on
- ONE
- or
- Organisé
- nos
- ande
- au contrôle
- plus de
- global
- paramètres
- partie
- participer
- partenaires,
- passion
- passionné
- paver
- /
- effectuer
- phase
- image
- Place
- plan
- plans
- Plateformes
- Platon
- Intelligence des données Platon
- PlatonDonnées
- jouer
- populations
- positif
- Post
- alimenté
- pratiques
- Privé
- procédure
- procédures
- processus
- productif
- preuve
- preuve de concept
- prototype
- à condition de
- Rapide
- vite.
- gamme
- raw
- les données brutes
- nous joindre
- facilement
- monde réel
- réalisé
- reçoit
- réorienter
- réduction
- régions
- en relation
- dépôt
- représentent
- ceux
- répondants
- réponses
- résultat
- résulté
- Résultats
- robuste
- Courir
- fonctionne
- même
- dire
- Évolutivité
- évolutive
- Escaliers intérieurs
- screenshots
- Deuxièmement
- les sections
- en toute sécurité
- Chercher
- Sélectionner
- Sans serveur
- Services
- set
- Forme
- commun
- elle
- montrer
- montré
- Spectacles
- de façon significative
- étapes
- Réseaux sociaux
- Le changement social
- Société
- sur mesure
- Solutions
- Sources
- Space
- Espagnol
- Spatial
- spécialiste
- spécialise
- groupe de neurones
- scission
- Sports
- SQL
- intervenant
- parties prenantes
- Standard
- peuplements
- Région
- États
- étapes
- Étapes
- Encore
- storage
- Boutique
- stockée
- Stories
- Histoire
- Stratégiquement
- de Marketing
- structures
- réussi
- tel
- suffisant
- Appareils
- Appuyer
- Sondage
- durable
- table
- prend
- Target
- des campagnes marketing ciblées,
- équipe
- Technique
- testament
- que
- qui
- La
- El futuro
- L'avenir du travail
- L'État
- leur
- Les
- Là.
- ainsi
- Ces
- l'ont
- this
- ceux
- Avec
- fiable
- fois
- à
- a
- outil
- Boîte à outils
- Boîte à outils
- les outils
- Transformer
- De La Carrosserie
- transformations
- Voyages
- oui
- essayer
- TX
- type
- comprendre
- compréhension
- inconnu
- a actualisé
- la mise à jour
- us
- États américains
- d'utiliser
- Utilisateur
- convivial
- Usages
- en utilisant
- variant
- très
- viabilité
- Salle de conférence virtuelle
- visuel
- visualisation
- vital
- volumes
- Entrepots
- était
- personne(s) regarde(nt) cette fiche produit
- Façon..
- we
- web
- services Web
- bien connu
- ont été
- Quoi
- quand
- qui
- tout en
- WHO
- large
- plus large
- Wikipédia
- comprenant
- dans les
- sans
- activités principales
- travaillé
- workflow
- world
- années
- encore
- you
- Votre
- zéphyrnet
- Zip
- zoom