In unserer zunehmend digitalen Welt ist ein erschwinglicher Zugang zu Hochgeschwindigkeitsbreitband eine Notwendigkeit für die uneingeschränkte Teilhabe an unserer Gesellschaft, dennoch gibt es immer noch Millionen amerikanischer Haushalte ohne Internetzugang. HR&A-Berater– ein multidisziplinäres Beratungsunternehmen mit umfassender Arbeit im Breitband- und digitalen Gerechtigkeitsbereich hilft seinen Kunden auf Landes-, Kreis- und Kommunalebene bei der Bereitstellung eines erschwinglichen Internetzugangs, indem es lokal spezifische digitale Inklusionsbedürfnisse analysiert und maßgeschneiderte Pläne für digitale Gerechtigkeit erstellt.
Der erste Schritt in diesem Prozess besteht darin, die digitale Kluft abzubilden. Welche Haushalte haben zu Hause keinen Zugang zum Internet? Wo leben sie? Was sind ihre spezifischen Bedürfnisse?
Öffentliche Datenquellen reichen nicht aus, um ein wirkliches Verständnis der Bedürfnisse der digitalen Inklusion zu entwickeln. Um die Lücken in den vorhandenen Daten zu schließen, erstellt HR&A digitale Eigenkapitalumfragen, um vor der Entwicklung digitaler Eigenkapitalpläne ein vollständigeres Bild zu erhalten. HR&A hat verwendet Amazon Redshift ohne Server und CARTO um Umfrageergebnisse effizienter zu verarbeiten und benutzerdefinierte interaktive Dashboards zu erstellen, um das Verständnis der Ergebnisse zu erleichtern. Die Zusammenarbeit von HR&A mit Amazon RedShift und CARTO hat zu einer Reduzierung der gesamten Bereitstellungs- und Dashboard-Verwaltungszeit um 75 % geführt und dem Team dabei geholfen, die folgenden technischen Ziele zu erreichen:
- Laden Sie Umfrageergebnisse (CSV-Dateien) und Geometriedaten (Formdateien) in ein Data Warehouse
- Führen Sie georäumliche Transformationen mithilfe von Extraktions-, Transformations- und Ladejobs (ELT) durch, um Geometriedaten mit Vermessungsergebnissen im Data Warehouse zu verknüpfen und die Visualisierung der Vermessungsergebnisse auf einer Karte zu ermöglichen
- Integrieren Sie ein Business Intelligence (BI)-Tool für erweiterte Geodatenfunktionen, Visualisierungen und Kartierungs-Dashboards
- Skalieren Sie die Data-Warehouse-Kapazität nach oben oder unten, um Arbeitslasten unterschiedlicher Komplexität kosteneffizient zu bewältigen
In diesem Beitrag erläutern wir, wie HR&A die räumliche Analyse von Amazon Redshift und CARTO für eine kostengünstige georäumliche Messung der digitalen Inklusion und des Internetzugangs in mehreren US-Bundesstaaten nutzt.
Bevor wir uns mit den Architekturdetails befassen, erfahren Sie hier, was HR&A und sein Kunde, Colorados Office of the Future of Work, über die Lösung zu sagen haben.
„In Zusammenarbeit mit dem Team von HR&A Advisors hat das Digital Equity Team von Colorado ein benutzerdefiniertes Dashboard erstellt, das es uns ermöglichte, unsere Reichweite sehr effektiv zu bewerten und gleichzeitig historisch marginalisierte Bevölkerungsgruppen in ganz Colorado zu befragen. Dieses dynamische Tool, das von AWS und CARTO unterstützt wird, lieferte zuverlässige Visualisierungen darüber, welche Regionen und Bevölkerungsgruppen mit unserer Umfrage interagierten, sodass wir schnell hineinzoomen und Lücken in der Abdeckung schließen konnten. Es war von entscheidender Bedeutung, sicherzustellen, dass wir in der Lage waren, Daten von denjenigen einzuholen, die am stärksten von der digitalen Kluft in Colorado betroffen sind, um digitale Ungleichheiten in unserem Bundesstaat anzugehen.“
— Melanie Colletti, Digital Equity Manager beim Colorado Office of the Future of Work
„AWS ermöglicht es uns, alle unsere Umfragedaten sicher an einem Ort zu speichern, sie schnell auf Amazon Redshift zu bereinigen und zu analysieren und die Ergebnisse durch die Integration mit Datenvisualisierungstools wie CARTO zu spiegeln, ohne dass die Daten jemals AWS verlassen. Dies entlastet unseren lokalen Computerraum, automatisiert die Bereinigung und Analyse der Umfrage erheblich und ermöglicht unseren Kunden einen einfachen Zugriff auf die Datenergebnisse. Nach dem Proof of Concept und der Entwicklung des ersten Prototyps zeigten fast alle unserer Landeskunden Interesse daran, die gleiche Lösung für ihre Bundesstaaten zu nutzen.“
— Harman Singh Dhodi, Analyst bei HR&A Advisors, Inc.
Speichern und Analysieren großer Umfragedatensätze
HR&A nutzte Redshift Serverless, um große Mengen digitaler Inklusionsdaten an einem Ort zu speichern und diese mit dem Analyse-Toolkit von CARTO schnell umzuwandeln und zu analysieren, um die räumlichen Fähigkeiten von Amazon Redshift zu erweitern und in die Datenvisualisierungstools von CARTO zu integrieren – und das alles, ohne dass die Daten jemals die AWS-Umgebung verlassen . Dadurch konnten die analytischen Durchlaufzeiten erheblich verkürzt werden.
Das CARTO Analytics Toolbox für Redshift besteht aus einer Reihe benutzerdefinierter Funktionen und Prozeduren, die je nach angebotener Funktionalität in einer Reihe von Modulen organisiert sind.
Die folgende Abbildung zeigt die Lösungs- und Workflow-Schritte, die während des Proof of Concept mit einer Virtual Private Cloud (VPC) auf Amazon Redshift entwickelt wurden.
In den folgenden Abschnitten besprechen wir jede Phase des Workflows ausführlicher.
Datenaufnahme
HR&A empfängt Umfragedaten als umfangreiche CSV-Dateien mit Hunderten von Spalten in jeder Datei und zugehörigen räumlichen Daten im Hexadezimalformat Erweiterte bekannte Binärdatei (EWKB) in Form von Formdateien. Diese Dateien werden in gespeichert Amazon Simple Storage-Service (Amazon S3).
Das Redshift COPY-Befehl wird verwendet, um die räumlichen Daten aus Formdateien in den nativen GEOMETRY-Datentyp aufzunehmen, der in Amazon Redshift unterstützt wird. Eine Kombination aus Amazon Redshift-Spektrum und COPY-Befehle werden verwendet, um die als CSV-Dateien gespeicherten Umfragedaten aufzunehmen. Für die Dateien mit unbekannter Struktur: AWS-Kleber Crawler werden zum Extrahieren von Metadaten und zum Erstellen von Tabellendefinitionen im verwendet Datenkatalog. Diese Tabellendefinitionen werden als Metadaten-Repository für externe Tabellen in Amazon Redshift verwendet.
Für Dateien mit bekannten Strukturen wird eine gespeicherte Redshift-Prozedur verwendet, die den Dateispeicherort und den Tabellennamen als Parameter verwendet und einen COPY-Befehl ausführt, um die Rohdaten in entsprechende Redshift-Tabellen zu laden.
Datentransformation
Mehrere gespeicherte Prozeduren werden verwendet, um die Rohdaten der Tabelle aufzuteilen und sie in die entsprechenden Zieltabellen zu laden, während die benutzerdefinierten Transformationen angewendet werden.
Diese Transformationsregeln umfassen die Transformation von GEOMETRY-Daten mithilfe von Native Georäumliche Redshift-Funktionen, mögen ST_Area und ST_length, und CARTOs erweiterte räumliche Funktionen, die in Amazon Redshift als Teil der CARTO Analytics Toolbox für Redshift verfügbar sind Installation. Darüber hinaus werden alle Schritte zur Datenaufnahme und -transformation mithilfe eines automatisiert AWS Lambda Funktion zum Ausführen der Redshift-Abfrage, wenn ein Datensatz in Amazon S3 aktualisiert wird.
Datenvisualisierung
Das HR&A-Team nutzte den Redshift-Connector von CARTO, um eine Verbindung zum Redshift Serverless-Endpunkt herzustellen, und erstellte Dashboards mithilfe der SQL-Schnittstelle und Widgets von CARTO, um die Zuordnung zu unterstützen und gleichzeitig dynamische Berechnungen der Kartendaten gemäß den Kundenanforderungen durchzuführen.
Im Folgenden finden Sie Beispiel-Screenshots der Dashboards, die Umfrageantworten nach Postleitzahl anzeigen. Die Kreise, die in helleren Farbtönen dargestellt sind, stellen begrenzte Umfrageantworten dar und müssen in die gezielte Datenerhebungsstrategie einbezogen werden.
Das erste Bild zeigt das Dashboard ohne aktive Filter. Das zweite Bild zeigt eine gefilterte Karte und Chats von Befragten, die an der Umfrage auf Spanisch teilgenommen haben. Der Benutzer kann Funktionen auswählen und zwischen ihnen wechseln, indem er in einem der Balkendiagramme auf die entsprechende Kategorie klickt.
Das Ergebnis: Ein neuer Standard für die automatische Aktualisierung von Dashboards zur digitalen Inklusion
Nach der Entwicklung des ersten interaktiven Dashboard-Prototyps mit dieser Methodik zeigten fünf der staatlichen Kunden von HR&A (CA, TX, NV, CO und MA) Interesse an der Lösung. HR&A war in der Lage, es für jeden von ihnen innerhalb von zwei Monaten zu implementieren – eine unglaublich schnelle Umsetzung für ein benutzerdefiniertes, interaktives Dashboard für die digitale Inklusion.
HR&A erkannte außerdem eine Reduzierung der Gesamtzeit für die Bereitstellung und Dashboard-Verwaltung um etwa 75 %, was bedeutete, dass das Beratungsteam seinen Schwerpunkt von der manuellen Datenanalyse auf die Unterstützung der Kunden bei der Interpretation und strategischen Planung der Ergebnisse verlagern konnte. Schließlich machte die benutzerfreundliche Oberfläche des Dashboards die Umfragedaten einem breiteren Spektrum von Interessengruppen zugänglicher. Dies trug zum Aufbau eines gemeinsamen Verständnisses bei der Bewertung von Lücken in der digitalen Inklusionslandschaft der einzelnen Bundesstaaten bei und ermöglichte eine gezielte Datenerfassungsstrategie aus Gebieten mit begrenzten Umfrageantworten, wodurch insgesamt eine produktivere Zusammenarbeit unterstützt wurde.
Zusammenfassung
In diesem Beitrag haben wir gezeigt, wie HR&A mithilfe von Amazon Redshift Serverless und CARTO Geodaten in großen Mengen analysieren konnte.
Mit der erfolgreichen Implementierung von HR&A ist es offensichtlich, dass Redshift Serverless mit seiner Flexibilität und Skalierbarkeit als Katalysator für positive soziale Veränderungen genutzt werden kann. Während HR&A weiterhin den Weg für digitale Gerechtigkeit ebnet, ist ihre Geschichte ein Beweis dafür, wie AWS-Services und seine Partner zur Bewältigung realer Herausforderungen genutzt werden können.
Wir empfehlen Ihnen, Redshift Serverless mit CARTO für die Analyse räumlicher Daten zu erkunden und uns Ihre Erfahrungen in den Kommentaren mitzuteilen.
Über die Autoren
Harman Singh Dhodi Als Analyst bei HR&A Advisors verbindet Harman seine Leidenschaft für Datenanalysen mit nachhaltigen Infrastrukturpraktiken, sozialer Inklusion, wirtschaftlicher Tragfähigkeit, Klimaresilienz und dem Aufbau von Stakeholder-Kapazitäten. Harmans Arbeit konzentriert sich oft auf die Übersetzung komplexer Datensätze in visuelle Geschichten und zugängliche Tools, die Gemeinden dabei helfen, die Herausforderungen, denen sie gegenüberstehen, zu verstehen und Lösungen für eine bessere Zukunft zu entwickeln.
Kiran Kumar Tati ist ein auf Analytics spezialisierter Lösungsarchitekt mit Sitz in Omaha, NE. Er ist auf die Entwicklung von End-to-End-Analyselösungen spezialisiert. Er verfügt über mehr als 13 Jahre Erfahrung in der Konzeption und Implementierung groß angelegter Big Data- und Analytics-Lösungen. In seiner Freizeit spielt er gerne Cricket und schaut sich Sportveranstaltungen an.
Sapna Maheshwari ist Senior Solutions Architect bei Amazon Web Services. Sie unterstützt Kunden bei der Entwicklung maßstabsgetreuer Datenanalyselösungen auf AWS. Außerhalb der Arbeit reist sie gerne und probiert neue Küchen aus.
Washim Nawaz ist ein Analytics Specialist Solutions Architect bei AWS. Er arbeitet seit über 15 Jahren an der Entwicklung und Optimierung von Data-Warehouse- und Data-Lake-Lösungen. Seine Leidenschaft besteht darin, Kunden bei der Modernisierung ihrer Datenplattformen mit effizienten, leistungsstarken und skalierbaren Analyselösungen zu unterstützen. Außerhalb der Arbeit schaut er sich gerne Spiele an und reist gerne.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
- Quelle: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- :hast
- :Ist
- :Wo
- $UP
- 1
- 120
- 13
- 15 Jahre
- 15%
- 150
- 29
- 33
- 35%
- a
- Fähig
- Über Uns
- Zugang
- zugänglich
- Erreichen
- über
- aktiv
- Adresse
- Adressierung
- advanced
- Berater
- Ranking
- Alle
- erlauben
- erlaubt
- erlaubt
- fast
- ebenfalls
- Amazon
- Amazon Web Services
- amerikanisch
- Beträge
- an
- Analyse
- Analytiker
- Analytisch
- Analytische
- Analytik
- analysieren
- Analyse
- und
- jedem
- Anwendung
- Architektur
- SIND
- Bereiche
- um
- AS
- Beurteilung
- helfen
- At
- Automatisiert
- Automatisches Erfassen:
- Im Prinzip so, wie Sie es von Google Maps kennen.
- verfügbar
- AWS
- Bar
- basierend
- BE
- war
- Bevor
- zwischen
- Big
- Big Data
- heller
- Breitband
- bauen
- Building
- erbaut
- Geschäft
- Business Intelligence
- by
- CA
- CAN
- Fähigkeiten
- Kapazität
- Katalysator
- Kategorie
- Herausforderungen
- Übernehmen
- Charts
- Reinigung
- Auftraggeber
- Kunden
- Klimaschutz
- Cloud
- CO
- Code
- Zusammenarbeit
- Sammlung
- Colorados
- Spalten
- Kombination
- vereint
- Bemerkungen
- Communities
- abschließen
- Komplex
- Komplexität
- zusammengesetzt
- Computer
- konzept
- Vernetz Dich
- Beratung
- Consulting
- weiter
- Dazugehörigen
- kostengünstiger
- könnte
- Grafschaft
- Berichterstattung
- erstellen
- erstellt
- schafft
- Kricket
- Original
- Kunden
- Schneiden
- Armaturenbrett
- Dashboards
- technische Daten
- Datenanalyse
- Datensee
- Datenvisualisierung
- Data Warehouse
- Datensätze
- Definitionen
- Übergeben
- Einsatz
- Entwerfen
- Detail
- Details
- entwickelt
- Entwicklung
- Entwicklung
- digital
- Digitale Welt
- diskutieren
- aufteilen
- do
- Nicht
- nach unten
- im
- dynamisch
- jeder
- leicht
- Wirtschaftlich
- effektiv
- effizient
- effizient
- ermächtigen
- ermöglichen
- ermutigen
- End-to-End
- Endpunkt
- Gewährleistung
- Arbeitsumfeld
- Gerechtigkeit
- Äther (ETH)
- bewerten
- ÜBERHAUPT
- offensichtlich
- vorhandenen
- ERFAHRUNGEN
- ERKUNDEN
- erweitern
- umfangreiche
- extern
- Extrakt
- erleichtern
- zugewandt
- Eigenschaften
- Abbildung
- Reichen Sie das
- Mappen
- füllen
- Filter
- Endlich
- Befund
- Vorname
- fünf
- Flexibilität
- Setzen Sie mit Achtsamkeit
- konzentriert
- Folgende
- Aussichten für
- unten stehende Formular
- für
- voll
- Funktion
- Funktionalität
- Funktionen
- Außerdem
- Zukunft
- Zukunft der Arbeit
- Games
- Lücken
- Geometrie
- bekommen
- Ziele
- sehr
- Haben
- he
- Hilfe
- dazu beigetragen,
- Unternehmen
- hilft
- hier
- seine
- historisch
- Startseite
- Häuser
- Haushalte
- Ultraschall
- HTML
- http
- HTTPS
- hunderte
- illustrieren
- Image
- wirkt
- implementieren
- Implementierung
- Umsetzung
- in
- das
- inklusive
- Aufnahme
- zunehmend
- unglaublich
- Infrastruktur
- integrieren
- Integration
- Intelligenz
- Interaktion
- interaktive
- Interesse
- Schnittstelle
- Internet
- Internetzugang
- in
- IT
- SEINE
- Jobs
- join
- jpg
- Wissen
- bekannt
- kumar
- See
- Landschaft
- Sprache
- grosse
- Verlassen
- lassen
- Feuerzeug
- Gefällt mir
- Limitiert
- leben
- Belastung
- aus einer regionalen
- örtlich
- Standorte
- gemacht
- Management
- Manager
- manuell
- Karte
- Mapping
- gemeint
- messen
- Messung
- Melanie
- Metadaten
- Methodik
- Millionen
- Spiegel
- modernisieren
- Module
- mehr
- vor allem warme
- multidisziplinär
- mehrere
- Stadt-
- Name
- nativen
- ne
- Notwendigkeit
- Need
- Bedürfnisse
- Neu
- NV
- of
- bieten
- Office
- vorgenommen,
- Omaha
- on
- EINEM
- or
- Organisiert
- UNSERE
- aussen
- übrig
- Gesamt-
- Parameter
- Teil
- teilnehmen
- Leidenschaft & KREATIVITÄT
- leidenschaftlich
- pflastern
- für
- Durchführung
- Phase
- ein Bild
- Ort
- Plan
- Pläne
- Plattformen
- Plato
- Datenintelligenz von Plato
- PlatoData
- spielend
- Populationen
- positiv
- Post
- angetriebene
- Praktiken
- privat
- Verfahren
- Verfahren
- Prozessdefinierung
- produktiv
- Beweis
- Proof of Concept
- Prototyp
- vorausgesetzt
- Direkt
- schnell
- Angebot
- Roh
- Rohdaten
- erreichen
- leicht
- realen Welt
- realisiert
- erhält
- umleiten
- Reduktion
- Regionen
- bezogene
- Quelle
- vertreten
- diejenigen
- Befragte
- Antworten
- Folge
- Folge
- Die Ergebnisse
- robust
- Ohne eine erfahrene Medienplanung zur Festlegung von Regeln und Strategien beschleunigt der programmatische Medieneinkauf einfach die Rate der verschwenderischen Ausgaben.
- Führen Sie
- läuft
- gleich
- Skalierbarkeit
- skalierbaren
- Skalieren
- Screenshots
- Zweite
- Abschnitte
- sicher
- Suchen
- wählen
- Serverlos
- Lösungen
- kompensieren
- Form
- von Locals geführtes
- sie
- erklären
- zeigte
- Konzerte
- bedeutend
- Einfacher
- Social Media
- Sozialer Wandel
- Gesellschaft
- Lösung
- Lösungen
- Quellen
- Raumfahrt
- Spanisch
- räumlich
- Spezialist
- spezialisiert
- spezifisch
- gespalten
- Sports
- SQL
- Stakeholder
- Stakeholder
- Standard
- steht
- Bundesstaat
- Staaten
- Schritt
- Shritte
- Immer noch
- Lagerung
- speichern
- gelagert
- Geschichten
- Geschichte
- Strategisch
- Strategie
- Strukturen
- erfolgreich
- so
- ausreichend
- Unterstützte
- Unterstützung
- Umfrage
- nachhaltiger
- Tabelle
- zugeschnitten
- nimmt
- Target
- gezielt
- Team
- Technische
- Testament
- als
- zur Verbesserung der Gesundheitsgerechtigkeit
- Das
- Die Zukunft
- Die Zukunft der Arbeit
- Der Staat
- ihr
- Sie
- Dort.
- damit
- Diese
- vom Nutzer definierten
- fehlen uns die Worte.
- diejenigen
- Durch
- Zeit
- mal
- zu
- nahm
- Werkzeug
- Tools
- Toolkit
- Werkzeuge
- Transformieren
- Transformation
- Transformationen
- Reise
- was immer dies auch sein sollte.
- Versuch
- TX
- tippe
- verstehen
- Verständnis
- unbekannt
- aktualisiert
- Aktualisierung
- us
- US-Bundesstaaten
- benutzt
- Mitglied
- benutzerfreundlich
- verwendet
- Verwendung von
- Variieren
- sehr
- Durchführbarkeit
- Assistent
- visuell
- Visualisierung
- lebenswichtig
- Volumen
- Warehouse
- wurde
- beobachten
- Weg..
- we
- Netz
- Web-Services
- bekannt
- waren
- Was
- wann
- welche
- während
- WHO
- breit
- breiter
- Wikipedia
- mit
- .
- ohne
- Arbeiten
- gearbeitet
- Arbeitsablauf.
- weltweit wie ausgehandelt und gekauft ausgeführt wird.
- Jahr
- noch
- U
- Ihr
- Zephyrnet
- PLZ
- Zoom