In onze steeds digitalere wereld is betaalbare toegang tot hogesnelheidsbreedband een noodzaak om volledig te kunnen participeren in onze samenleving, maar toch zijn er nog steeds miljoenen Amerikaanse huishoudens zonder internettoegang. HR&A adviseurs– een multidisciplinair adviesbureau met uitgebreid werk op het gebied van breedband en digitale aandelen helpt zijn staats-, provinciale en gemeentelijke klanten bij het leveren van betaalbare internettoegang door lokaal specifieke behoeften op het gebied van digitale inclusie te analyseren en op maat gemaakte digitale aandelenplannen op te stellen.
De eerste stap in dit proces is het in kaart brengen van de digitale kloof. Welke huishoudens hebben thuis geen toegang tot internet? Waar wonen zij? Wat zijn hun specifieke behoeften?
Publieke databronnen zijn niet voldoende om een goed inzicht te krijgen in de behoeften op het gebied van digitale inclusie. Om de hiaten in de bestaande gegevens op te vullen, creëert HR&A digitale aandelenenquêtes om een completer beeld te krijgen voordat digitale aandelenplannen worden ontwikkeld. HR&A heeft gebruik gemaakt Amazon Redshift Serverloos en PAPIER om onderzoeksresultaten efficiënter te verwerken en aangepaste interactieve dashboards te creëren om het begrip van de resultaten te vergemakkelijken. De samenwerking van HR&A met Amazon roodverschuiving en CARTO heeft geresulteerd in een reductie van 75% in de totale implementatie- en dashboardbeheertijd en heeft het team geholpen de volgende technische doelen te bereiken:
- Laad onderzoeksresultaten (CSV-bestanden) en geometriegegevens (vormbestanden) in een datawarehouse
- Voer georuimtelijke transformaties uit met behulp van extractie-, transformatie- en laadtaken (ELT) om geometrische gegevens samen te voegen met onderzoeksresultaten binnen het datawarehouse, zodat de onderzoeksresultaten op een kaart kunnen worden gevisualiseerd
- Integreer met een business intelligence (BI)-tool voor geavanceerde georuimtelijke functies, visualisaties en kaartdashboards
- Schaal de datawarehouse-capaciteit omhoog of omlaag om werklasten van verschillende complexiteit op een kostenefficiënte manier aan te pakken
In dit bericht leggen we uit hoe HR&A Amazon Redshift ruimtelijke analyses en CARTO gebruikt voor kosteneffectieve georuimtelijke metingen van digitale inclusie en internettoegang in meerdere Amerikaanse staten.
Voordat we op de architectuurdetails ingaan, is dit wat HR&A en zijn klant, Colorado's Office of the Future of Work, te zeggen hebben over de oplossing.
“In samenwerking met het team van HR&A Advisors heeft Colorado's Digital Equity Team een aangepast dashboard gecreëerd waarmee we ons bereik zeer effectief konden evalueren terwijl we historisch gemarginaliseerde bevolkingsgroepen in Colorado in kaart brachten. Deze dynamische tool, mogelijk gemaakt door AWS en CARTO, leverde robuuste visualisaties op van welke regio's en bevolkingsgroepen interactie hadden met onze enquête, waardoor we snel konden inzoomen en hiaten in de dekking konden aanpakken. Ervoor zorgen dat we gegevens konden verzamelen van degenen die het meest getroffen zijn door de digitale kloof in Colorado, is van cruciaal belang geweest voor het aanpakken van de digitale ongelijkheid in onze staat.”
– Melanie Colletti, Digital Equity Manager bij Colorado’s Office of the Future of Work
“AWS stelt ons in staat om al onze enquêtegegevens veilig op één plek onder te brengen, deze snel te scrubben en te analyseren op Amazon Redshift, en de resultaten te spiegelen door integratie met datavisualisatietools zoals CARTO zonder dat de gegevens AWS ooit verlaten. Dit maakt onze lokale computerruimte vrij, automatiseert de stap van het opschonen en analyseren van onderzoeken aanzienlijk en geeft onze klanten eenvoudig toegang tot de gegevensresultaten. Na de proof of concept en de ontwikkeling van het eerste prototype toonden bijna al onze staatsklanten interesse in het gebruik van dezelfde oplossing voor hun staten.”
— Harman Singh Dhodi, analist bij HR&A Advisors, Inc.
Opslaan en analyseren van grote enquêtedatasets
HR&A gebruikte Redshift Serverless om grote hoeveelheden digitale inclusiegegevens op één plek op te slaan en deze snel te transformeren en te analyseren met behulp van CARTO's analytische toolkit om de ruimtelijke mogelijkheden van Amazon Redshift uit te breiden en te integreren met CARTO's datavisualisatietools - allemaal zonder dat de gegevens ooit de AWS-omgeving verlaten . Hierdoor werden de analytische doorlooptijden aanzienlijk verkort.
De CARTO Analytics Toolbox voor Roodverschuiving bestaat uit een reeks door de gebruiker gedefinieerde functies en procedures, georganiseerd in een reeks modules op basis van de functionaliteit die ze bieden.
De volgende afbeelding toont de oplossings- en workflowstappen die zijn ontwikkeld tijdens de proof of concept met een virtual private cloud (VPC) op Amazon Redshift.
In de volgende secties bespreken we elke fase in de workflow in meer detail.
Gegevensopname
HR&A ontvangt enquêtegegevens als brede CSV-bestanden met honderden kolommen in elk bestand en gerelateerde ruimtelijke gegevens in hexadecimaal Uitgebreid bekend binair bestand (EWKB) in de vorm van vormbestanden. Deze bestanden worden opgeslagen in Amazon eenvoudige opslagservice (Amazone S3).
De Roodverschuiving COPY-opdracht wordt gebruikt om de ruimtelijke gegevens uit vormbestanden op te nemen in het oorspronkelijke GEOMETRY-gegevenstype dat wordt ondersteund in Amazon Redshift. Een combinatie van Amazon Roodverschuivingsspectrum en COPY-opdrachten worden gebruikt om de onderzoeksgegevens op te nemen die zijn opgeslagen als CSV-bestanden. Voor de bestanden met onbekende structuren: AWS lijm crawlers worden gebruikt om metagegevens te extraheren en tabeldefinities te maken in de Gegevenscatalogus. Deze tabeldefinities worden gebruikt als de metadata-opslagplaats voor externe tabellen in Amazon Redshift.
Voor bestanden met bekende structuren wordt een opgeslagen Redshift-procedure gebruikt, die de bestandslocatie en de tabelnaam als parameters neemt en een COPY-opdracht uitvoert om de onbewerkte gegevens in overeenkomstige Redshift-tabellen te laden.
Datatransformatie
Er worden meerdere opgeslagen procedures gebruikt om de onbewerkte tabelgegevens te splitsen en in overeenkomstige doeltabellen te laden, terwijl de door de gebruiker gedefinieerde transformaties worden toegepast.
Deze transformatieregels omvatten de transformatie van GEOMETRY-gegevens met behulp van native Roodverschuiving georuimtelijke functies, zoals ST_Gebied en ST_lengteen CARTO's geavanceerde ruimtelijke functies, die direct beschikbaar zijn in Amazon Redshift als onderdeel van de CARTO Analytics Toolbox voor Redshift installatie. Bovendien worden alle gegevensopname- en transformatiestappen geautomatiseerd met behulp van een AWS Lambda functie om de Redshift-query uit te voeren wanneer een dataset in Amazon S3 wordt bijgewerkt.
Data visualisatie
Het HR&A-team gebruikte CARTO's Redshift-connector om verbinding te maken met het Redshift Serverless-eindpunt en bouwde dashboards met behulp van CARTO's SQL-interface en widgets om te helpen bij het in kaart brengen, terwijl dynamische berekeningen van de kaartgegevens werden uitgevoerd volgens de behoeften van de klant.
Hieronder volgen voorbeeldschermafbeeldingen van de dashboards die enquêtereacties per postcode tonen. De provincies in lichtere tinten vertegenwoordigen beperkte enquêtereacties en moeten worden opgenomen in de gerichte strategie voor gegevensverzameling.
De eerste afbeelding toont het dashboard zonder actieve filters. De tweede afbeelding toont een gefilterde kaart en chats van respondenten die de enquête in het Spaans hebben ingevuld. De gebruiker kan functies selecteren en schakelen door op de betreffende categorie in een van de staafdiagrammen te klikken.
Het resultaat: een nieuwe standaard voor het automatisch updaten van dashboards voor digitale inclusie
Na de ontwikkeling van het eerste interactieve dashboard-prototype met deze methodologie toonden vijf staatsklanten van HR&A (CA, TX, NV, CO en MA) interesse in de oplossing. HR&A kon het voor elk van hen binnen twee maanden implementeren: een ongelooflijk snelle doorlooptijd voor een op maat gemaakt, interactief dashboard voor digitale inclusie.
HR&A realiseerde ook een vermindering van 75% in de totale tijd voor implementatie en dashboardbeheer, wat betekende dat het adviesteam hun aandacht kon verleggen van het handmatig analyseren van gegevens naar het helpen van klanten bij het interpreteren en strategisch plannen rond de resultaten. Ten slotte maakte de gebruiksvriendelijke interface van het dashboard de onderzoeksgegevens toegankelijker voor een breder scala aan belanghebbenden. Dit hielp bij het opbouwen van een gedeeld begrip bij het beoordelen van de hiaten in het digitale inclusielandschap van elke staat en maakte een gerichte strategie voor gegevensverzameling mogelijk uit gebieden met beperkte enquêtereacties, waardoor in het algemeen een productievere samenwerking werd ondersteund.
Conclusie
In dit bericht lieten we zien hoe HR&A georuimtelijke gegevens in grote volumes kon analyseren met behulp van Amazon Redshift Serverless en CARTO.
Met de succesvolle implementatie van HR&A is het duidelijk dat Redshift Serverless, met zijn flexibiliteit en schaalbaarheid, kan worden gebruikt als katalysator voor positieve sociale verandering. Terwijl HR&A de weg blijft vrijmaken voor digitale gelijkheid, is hun verhaal een bewijs van hoe AWS-diensten en haar partners kunnen worden gebruikt bij het aanpakken van uitdagingen in de echte wereld.
We moedigen u aan om Redshift Serverless met CARTO te verkennen voor het analyseren van ruimtelijke gegevens en laat ons uw ervaringen weten in de opmerkingen.
Over de auteurs
Harman Singh Dhodi is analist bij HR&A Advisors, Harman combineert zijn passie voor data-analyse met duurzame infrastructuurpraktijken, sociale inclusie, economische levensvatbaarheid, klimaatbestendigheid en het opbouwen van de capaciteit van belanghebbenden. Het werk van Harman richt zich vaak op het vertalen van complexe datasets naar visuele verhalen en toegankelijke tools die gemeenschappen helpen de uitdagingen waarmee ze worden geconfronteerd te begrijpen en oplossingen te creëren voor een betere toekomst.
Kiran Kumar Tati is een Analytics Specialist Solutions Architect, gevestigd in Omaha, NE. Hij is gespecialiseerd in het bouwen van end-to-end analytische oplossingen. Hij heeft meer dan 13 jaar ervaring met het ontwerpen en implementeren van grootschalige Big Data- en Analytics-oplossingen. In zijn vrije tijd speelt hij graag cricket en kijkt hij naar sport.
Sapna Maheshwari is een Sr. Solutions Architect bij Amazon Web Services. Ze helpt klanten bij het ontwerpen van data-analyseoplossingen op grote schaal op AWS. Buiten haar werk houdt ze van reizen en het uitproberen van nieuwe keukens.
Washim Nawaz is een Analytics Specialist Solutions Architect bij AWS. Hij werkt al meer dan 15 jaar aan het bouwen en afstemmen van datawarehouse- en data lake-oplossingen. Hij heeft een passie voor het helpen van klanten bij het moderniseren van hun dataplatforms met efficiënte, performante en schaalbare analytische oplossingen. Buiten zijn werk kijkt hij graag naar games en reist hij graag.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
- Bron: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- : heeft
- :is
- :waar
- $UP
- 1
- 120
- 13
- 15 jaar
- 15%
- 150
- 29
- 33
- 35%
- a
- in staat
- Over
- toegang
- beschikbaar
- Bereiken
- over
- actieve
- adres
- aanpakken
- vergevorderd
- adviseurs
- betaalbaar
- Alles
- toelaten
- toegestaan
- toestaat
- bijna
- ook
- Amazone
- Amazon Web Services
- Amerikaans
- hoeveelheden
- an
- analyse
- analist
- analytisch
- Analytisch
- analytics
- analyseren
- het analyseren van
- en
- elke
- Het toepassen van
- architectuur
- ZIJN
- gebieden
- rond
- AS
- Het beoordelen
- helpen
- At
- geautomatiseerde
- automaten
- webmaster.
- Beschikbaar
- AWS
- bars
- gebaseerde
- BE
- geweest
- vaardigheden
- tussen
- Groot
- Big data
- helderder
- breedband
- bouw
- Gebouw
- bebouwd
- bedrijfsdeskundigen
- business intelligence
- by
- CA
- CAN
- mogelijkheden
- Inhoud
- Catalyst
- Categorie
- uitdagingen
- verandering
- Grafieken
- Schoonmaak
- klant
- klanten
- Klimaat
- Cloud
- CO
- code
- samenwerking
- Collectie
- Colorado
- columns
- combinatie van
- combines
- opmerkingen
- Gemeenschappen
- compleet
- complex
- ingewikkeldheid
- samengesteld
- computer
- concept
- Verbinden
- consultancy
- consulting
- blijft
- Overeenkomend
- kostenefficient
- kon
- provincie
- dekking
- en je merk te creëren
- aangemaakt
- creëert
- krekel
- gewoonte
- Klanten
- Snijden
- dashboards
- dashboards
- gegevens
- gegevens Analytics
- Datameer
- data visualisatie
- datawarehouse
- datasets
- definities
- leveren
- inzet
- ontwerpen
- detail
- gegevens
- ontwikkelde
- het ontwikkelen van
- Ontwikkeling
- digitaal
- digitale wereld
- bespreken
- verdelen
- do
- Dont
- beneden
- gedurende
- dynamisch
- elk
- gemakkelijk
- Economisch
- effectief
- doeltreffend
- efficiënt
- machtigen
- waardoor
- aanmoedigen
- eind tot eind
- Endpoint
- zorgen
- Milieu
- billijkheid
- Ether (ETH)
- schatten
- OOIT
- duidelijk
- bestaand
- ervaring
- Verken
- verlengen
- uitgebreid
- extern
- extract
- vergemakkelijken
- naar
- Voordelen
- Figuur
- Dien in
- Bestanden
- vullen
- filters
- Tot slot
- bevindingen
- Voornaam*
- vijf
- Flexibiliteit
- Focus
- richt
- volgend
- Voor
- formulier
- oppompen van
- geheel
- functie
- functionaliteit
- functies
- Bovendien
- toekomst
- Future of Work
- Spellen
- hiaten
- geometrie
- krijgen
- Doelen
- sterk
- Hebben
- he
- hulp
- geholpen
- het helpen van
- helpt
- hier
- zijn
- historisch
- Home
- Huis
- huishoudens
- Hoe
- HTML
- http
- HTTPS
- Honderden
- illustreren
- beeld
- beïnvloed
- uitvoeren
- uitvoering
- uitvoering
- in
- omvatten
- inclusief
- inclusie
- in toenemende mate
- ongelooflijk
- Infrastructuur
- integreren
- integratie
- Intelligentie
- interactie
- interactieve
- belang
- Interface
- Internet
- internet toegang
- in
- IT
- HAAR
- Vacatures
- mee
- jpg
- blijven
- bekend
- kumar
- meer
- Landschap
- taal
- Groot
- verlaten
- laten
- lichter
- als
- Beperkt
- leven
- laden
- lokaal
- plaatselijk
- plaats
- gemaakt
- management
- manager
- handmatig
- kaart
- in kaart brengen
- betekende
- maatregel
- maat
- melanie
- Metadata
- Methodologie
- miljoenen
- spiegel
- moderniseren
- Modules
- meer
- meest
- multidisciplinair
- meervoudig
- gemeentelijk
- naam
- inheemse
- ne
- noodzaak
- Noodzaak
- behoeften
- New
- NV
- of
- bieden
- Kantoor
- vaak
- omaha
- on
- EEN
- or
- Georganiseerd
- onze
- uit
- buiten
- over
- totaal
- parameters
- deel
- deelnemen
- partners
- passie
- hartstochtelijk
- plaveien
- voor
- uitvoerend
- fase
- beeld
- plaats
- plan
- plannen
- platforms
- Plato
- Plato gegevensintelligentie
- PlatoData
- spelen
- populaties
- positief
- Post
- aangedreven
- praktijken
- privaat
- procedures
- procedures
- productief
- bewijs
- proof of concept voor
- prototype
- mits
- Quick
- snel
- reeks
- Rauw
- ruwe data
- bereiken
- gemakkelijk
- echte wereld
- realiseerde
- ontvangt
- redirect
- reductie
- regio
- verwant
- bewaarplaats
- vertegenwoordigen
- degenen
- respondenten
- reacties
- resultaat
- resulteerde
- Resultaten
- robuust
- reglement
- lopen
- loopt
- dezelfde
- ervaren
- Schaalbaarheid
- schaalbare
- Scale
- screenshots
- Tweede
- secties
- vast
- Zoeken
- kiezen
- Serverless
- Diensten
- reeks
- Vorm
- gedeeld
- ze
- tonen
- vertoonde
- Shows
- aanzienlijk
- Eenvoudig
- Social
- Sociale verandering
- Maatschappij
- oplossing
- Oplossingen
- bronnen
- Tussenruimte
- Spaans
- ruimtelijke
- specialist
- specialiseert
- specifiek
- spleet
- Sport
- SQL
- stakeholders
- stakeholders
- standaard
- staat
- Land
- Staten
- Stap voor
- Stappen
- Still
- mediaopslag
- shop
- opgeslagen
- Blog
- Verhaal
- strategisch
- Strategie
- structuren
- geslaagd
- dergelijk
- voldoende
- ondersteunde
- Ondersteuning
- Enquête
- duurzaam
- tafel
- op maat gemaakt
- neemt
- doelwit
- doelgerichte
- team
- Technisch
- testament
- neem contact
- dat
- De
- De toekomst
- De toekomst van het werk
- De Staat
- hun
- Ze
- Er.
- daarbij
- Deze
- ze
- dit
- die
- Door
- niet de tijd of
- keer
- naar
- nam
- tools
- Toolbox
- toolkit
- tools
- Transformeren
- Transformatie
- transformaties
- Reizend
- waar
- proberen
- TX
- type dan:
- begrijpen
- begrip
- onbekend
- bijgewerkt
- bijwerken
- us
- Amerikaanse staten
- gebruikt
- Gebruiker
- gebruiksvriendelijke
- toepassingen
- gebruik
- wisselende
- zeer
- levensvatbaarheid
- Virtueel
- visuele
- visualisatie
- vitaal
- volumes
- Magazijn
- was
- kijken
- Manier..
- we
- web
- webservices
- bekend
- waren
- Wat
- wanneer
- welke
- en
- WIE
- breed
- bredere
- Wikipedia
- Met
- binnen
- zonder
- Mijn werk
- werkte
- workflow
- wereld
- jaar
- nog
- u
- Your
- zephyrnet
- Postcode
- zoom