Meie üha digitaalsemaks muutuvas maailmas on taskukohane juurdepääs kiirele lairibaühendusele meie ühiskonnas täielikuks osalemiseks vajalik, kuid endiselt on miljoneid Ameerika leibkondi ilma Interneti-ühenduseta. HR&A nõustajad— lairiba- ja digitaalse omakapitali valdkonnas ulatuslikku tööd tegev multidistsiplinaarne nõustamisettevõte aitab oma osariigi, maakonna ja omavalitsuste klientidel pakkuda taskukohast Interneti-juurdepääsu, analüüsides kohapeal spetsiifilisi digitaalse kaasamise vajadusi ja koostades kohandatud digitaalse omakapitali plaane.
Selle protsessi esimene samm on digitaalse lõhe kaardistamine. Millistel leibkondadel pole kodus Interneti-ühendust? Kus nad elavad? Millised on nende konkreetsed vajadused?
Avalikest andmeallikatest ei piisa digitaalse kaasamise vajaduste tõelise mõistmise loomiseks. Olemasolevates andmetes olevate lünkade täitmiseks koostab HR&A digitaalseid aktsiauuringuid, et luua terviklikum pilt enne digitaalsete omakapitaliplaanide väljatöötamist. HR&A on kasutanud Amazon Redshift serverita ja PABER küsitluste tulemuste tõhusamaks töötlemiseks ja kohandatud interaktiivsete armatuurlaudade loomiseks, et hõlbustada tulemuste mõistmist. HR&A koostöö Amazoni punane nihe ja CARTO on vähendanud üldist juurutamise ja armatuurlaua haldamise aega 75% ning aidanud meeskonnal saavutada järgmisi tehnilisi eesmärke:
- Laadige andmelattu uuringutulemused (CSV-failid) ja geomeetria andmed (kujufailid).
- Geomeetriliste andmete ühendamiseks andmelaos uuringutulemustega tehke georuumilisi teisendusi, kasutades ekstraheerimis-, teisendus- ja laadimistöid (ELT), et võimaldada uuringutulemuste kaardil visualiseerimist.
- Integreerige ärianalüüsi (BI) tööriistaga täiustatud georuumiliste funktsioonide, visualiseerimise ja kaardistamise armatuurlaudade jaoks
- Suurendage või vähendage andmelao mahtu, et käsitleda erineva keerukusega töökoormust kulutõhusal viisil
Selles postituses kirjeldame lahti, kuidas HR&A kasutab Amazon Redshifti ruumianalüüsi ja CARTOt digitaalse kaasamise ja Interneti-juurdepääsu kulutõhusaks georuumiliseks mõõtmiseks mitmes USA osariigis.
Enne arhitektuuri üksikasjade juurde jõudmist on siin see, mida HR&A ja selle klient, Colorado tuleviku tööbüroo, peavad lahenduse kohta ütlema.
„Koostöös HR&A Advisorsi meeskonnaga lõi Colorado Digital Equity meeskond kohandatud armatuurlaua, mis võimaldas meil väga tõhusalt hinnata oma ulatust, uurides samal ajal Colorado ajalooliselt marginaliseeritud elanikkonda. See dünaamiline tööriist, mida toidavad AWS ja CARTO, andis usaldusväärse visualiseerimise selle kohta, millised piirkonnad ja populatsioonid meie uuringuga suhtlesid, võimaldades meil kiiresti sisse suumida ja katvuse lünki lahendada. Meie osariigi digitaalse ebavõrdsuse lahendamisel on oluline tagada, et saaksime otsida andmeid nendelt, keda digitaalne lõhe Colorados kõige enam mõjutab.
— Melanie Colletti, Colorado tuleviku tööbüroo digitaalkapitali juht
„AWS võimaldab meil kõik meie uuringuandmed turvaliselt ühte kohta paigutada, neid Amazon Redshiftis kiiresti puhastada ja analüüsida ning tulemusi peegeldada andmete visualiseerimistööriistadega (nt CARTO) integreerimise kaudu, ilma et andmed AWS-ist kunagi lahkuksid. See vabastab meie kohaliku arvutiruumi, automatiseerib oluliselt uuringu puhastamise ja analüüsi etappi ning võimaldab meie klientidel andmete tulemustele hõlpsasti juurde pääseda. Pärast kontseptsiooni tõestamist ja esimese prototüübi väljatöötamist näitasid peaaegu kõik meie riigi kliendid üles huvi kasutada sama lahendust oma osariigis.
- Harman Singh Dhodi, HR&A Advisors, Inc. analüütik.
Suurte uuringuandmete salvestamine ja analüüsimine
HR&A kasutas Redshift Serverlessi, et salvestada suurtes kogustes digitaalseid kaasamisandmeid ühte kohta ning neid kiiresti teisendada ja analüüsida, kasutades CARTO analüütilist tööriistakomplekti, et laiendada Amazon Redshifti ruumilisi võimalusi ja integreerida CARTO andmete visualiseerimise tööriistadega – kõike seda ilma, et andmed AWS-i keskkonnast kunagi lahkuksid. . See lühendas oluliselt analüütilist töötlemisaega.
. CARTO Analyticsi tööriistakast punase nihke jaoks koosneb kasutaja määratud funktsioonide ja protseduuride komplektist, mis on korraldatud moodulite komplekti, mis põhinevad nende pakutavatel funktsioonidel.
Järgmisel joonisel on näidatud lahenduse ja töövoo etapid, mis on välja töötatud kontseptsiooni tõestamise käigus virtuaalse privaatpilvega (VPC) Amazon Redshiftis.
Järgmistes osades käsitleme üksikasjalikumalt töövoo iga etappi.
Andmete sissevõtmine
HR&A saab uuringuandmeid laiade CSV-failidena, kus igas failis on sadu veerge ja seotud ruumiandmed kuueteistkümnendsüsteemis Laiendatud üldtuntud binaar (EWKB) kujufailide kujul. Need failid on salvestatud Amazoni lihtne salvestusteenus (Amazon S3).
. Punase nihke COPY käsk kasutatakse ruumiandmete neelamiseks kujufailidest natiivsesse GEOMETRY andmetüüpi, mida toetab Amazon Redshift. Kombinatsioon Amazonase punase nihke spekter ja COPY käske kasutatakse CSV-failidena salvestatud uuringuandmete allalaadimiseks. Tundmatu struktuuriga failide puhul AWS liim indeksoijat kasutatakse metaandmete eraldamiseks ja tabelimääratluste loomiseks Andmekataloog. Neid tabelimääratlusi kasutatakse Amazon Redshifti väliste tabelite metaandmete hoidlana.
Teadaoleva struktuuriga failide puhul kasutatakse Redshift salvestatud protseduuri, mis võtab parameetritena faili asukoha ja tabeli nime ning käivitab käsu COPY, et laadida algandmed vastavatesse Redshift tabelitesse.
Andmete teisendamine
Tabeli töötlemata andmete jagamiseks ja vastavatesse sihttabelitesse laadimiseks kasutatakse mitut salvestatud protseduuri, rakendades samal ajal kasutaja määratud teisendusi.
Need teisendusreeglid hõlmavad GEOMETRY andmete teisendamist natiivsete andmete abil Punase nihke georuumilised funktsioonidNagu ST_Piirkond ja ST_pikkusja CARTO's täiustatud ruumifunktsioonid, mis on Amazon Redshiftis hõlpsasti saadaval Redshifti CARTO Analyticsi tööriistakasti osana paigaldamine. Lisaks automatiseeritakse kõik andmete sissevõtmise ja teisendamise etapid, kasutades a AWS Lambda funktsioon Redshift päringu käivitamiseks, kui Amazon S3 mis tahes andmekogumit värskendatakse.
Andmete visualiseerimine
HR&A meeskond kasutas Redshift Serverless lõpp-punktiga ühenduse loomiseks CARTO Redshifti konnektorit ning ehitas CARTO SQL-liidese ja vidinate abil armatuurlaudu, mis aitasid kaardistada, tehes samal ajal kaardiandmete dünaamilisi arvutusi vastavalt kliendi vajadustele.
Järgmised on näidisekraanipildid armatuurlaudadest, mis näitavad küsitluse vastuseid sihtnumbri järgi. Heledamates toonides maakonnad esindavad piiratud küsitlusvastuseid ja need tuleb kaasata sihipärasesse andmekogumisstrateegiasse.
Esimesel pildil on armatuurlaud ilma aktiivsete filtriteta. Teisel pildil on hispaania keeles küsitluses osalenud vastajate filtreeritud kaart ja vestlused. Kasutaja saab valida ja vahetada funktsioone, klõpsates mis tahes tulpdiagrammis vastaval kategoorial.
Tulemus: uus standard digitaalse kaasamise armatuurlaudade automaatseks värskendamiseks
Pärast esimese interaktiivse armatuurlaua prototüübi väljatöötamist selle metoodikaga näitasid viis HR&A osariiklikku klienti (CA, TX, NV, CO ja MA) lahenduse vastu üles. HR&A suutis selle kõigi jaoks rakendada 2 kuu jooksul – kohandatud interaktiivse digitaalse kaasamise armatuurlaua jaoks oli see uskumatult kiire lahendus.
HR&A mõistis ka umbes 75% vähem üldist juurutamise ja armatuurlaua haldamise aega, mis tähendas, et konsultatsioonimeeskond võis suunata oma fookuse andmete käsitsi analüüsimiselt klientidele tulemuste tõlgendamise ja strateegilise planeerimise aitamisele. Lõpuks muutis armatuurlaua kasutajasõbralik liides uuringuandmed kättesaadavamaks suuremale hulgale sidusrühmadele. See aitas luua jagatud arusaama iga osariigi digitaalse kaasamise maastikul esinevate lünkade hindamisel ja võimaldas sihipärast andmekogumisstrateegiat piirkondadest, kus küsitluse vastused on piiratud, toetades seeläbi üldiselt produktiivsemat koostööd.
Järeldus
Selles postituses näitasime, kuidas HR&A suutis Amazon Redshift Serverlessi ja CARTO abil suures mahus georuumilisi andmeid analüüsida.
HR&A eduka rakendamise tõttu on ilmne, et Redshift Serverlessi oma paindlikkuse ja skaleeritavusega saab kasutada positiivsete sotsiaalsete muutuste katalüsaatorina. Kuna HR&A sillutab jätkuvalt teed digitaalsele omakapitalile, on nende lugu tunnistus sellest, kuidas AWS-i teenuseid ja selle partnereid saab kasutada reaalsete väljakutsete lahendamisel.
Soovitame teil ruumiandmete analüüsimiseks uurida Redshift Serverlessi koos CARTOga ja anda meile oma kogemustest kommentaarides teada.
Autoritest
Harman Singh Dhodi on HR&A Advisorsi analüütik, Harman ühendab oma kire andmeanalüütika vastu jätkusuutliku infrastruktuuri tavade, sotsiaalse kaasatuse, majandusliku elujõulisuse, kliimamuutuste vastupanuvõime ja sidusrühmade suutlikkuse suurendamisega. Harmani töö keskendub sageli keerukate andmekogumite tõlkimisele visuaalseteks lugudeks ja juurdepääsetavateks tööriistadeks, mis aitavad kogukondadel mõista nende ees seisvaid väljakutseid ja luua lahendusi helgema tuleviku jaoks.
Kiran Kumar Tati on Analyticsi spetsialist lahenduste arhitekt, mis asub Omahas, NE. Ta on spetsialiseerunud täielike analüütiliste lahenduste loomisele. Tal on enam kui 13-aastane kogemus suuremahuliste suurandmete ja analüüsilahenduste kavandamisel ja juurutamisel. Vabal ajal mängib ta meelsasti kriketit ja vaatab sporti.
Sapna Maheshwari on Amazon Web Services'i lahenduste arhitekt. Ta aitab klientidel koostada AWS-is ulatuslikke andmeanalüütilisi lahendusi. Väljaspool tööd naudib ta reisimist ja uute köökide proovimist.
Washim Nawaz on AWS-i analüüsilahenduste spetsialist. Ta on andmelao ja andmejärve lahenduste ehitamise ja häälestamise kallal töötanud üle 15 aasta. Ta soovib kirglikult aidata klientidel moderniseerida oma andmeplatvorme tõhusate, tulemuslike ja skaleeritavate analüütiliste lahendustega. Väljaspool tööd meeldib talle mänge vaadata ja reisida.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- :on
- :on
- : kus
- $ UP
- 1
- 120
- 13
- 15 aastat
- 15%
- 150
- 29
- 33
- 35%
- a
- Võimalik
- MEIST
- juurdepääs
- juurdepääsetav
- Saavutada
- üle
- aktiivne
- aadress
- adresseerimine
- edasijõudnud
- nõustajad
- taskukohane
- Materjal: BPA ja flataatide vaba plastik
- võimaldama
- lubatud
- võimaldab
- peaaegu
- Ka
- Amazon
- Amazon Web Services
- ameerika
- summad
- an
- analüüs
- analüütik
- Analüütiline
- Analüütiline
- analytics
- analüüsima
- analüüsides
- ja
- mistahes
- Rakendades
- arhitektuur
- OLEME
- valdkondades
- ümber
- AS
- Hindamine
- abistama
- At
- Automatiseeritud
- automatiseerib
- automaatselt
- saadaval
- AWS
- baar
- põhineb
- BE
- olnud
- enne
- vahel
- Suur
- Big andmed
- heledam
- lairibaühenduse
- ehitama
- Ehitus
- ehitatud
- äri
- ärianalüüsi
- by
- CA
- CAN
- võimeid
- Võimsus
- Katalüsaator
- Kategooria
- väljakutseid
- muutma
- Äritegevus
- puhastamine
- klient
- kliendid
- Kliima
- Cloud
- CO
- kood
- koostöö
- kogumine
- Colorado
- Veerud
- kombinatsioon
- ühendab
- kommentaarid
- Ühenduste
- täitma
- keeruline
- keerukus
- koostatud
- arvuti
- mõiste
- Võta meiega ühendust
- konsultatsioonid
- nõustamine
- pidev
- Vastav
- kuluefektiivne
- võiks
- maakond
- katmine
- looma
- loodud
- loob
- kriket
- tava
- Kliendid
- lõigatud
- armatuurlaud
- armatuurlauad
- andmed
- Andmete analüüs
- andmejärv
- andmete visualiseerimine
- andmekogus
- andmekogumid
- mõisted
- tarnima
- kasutuselevõtu
- projekteerimine
- detail
- detailid
- arenenud
- arenev
- & Tarkvaraarendus
- digitaalne
- digitaalne maailm
- arutama
- jagama
- do
- Ära
- alla
- ajal
- dünaamiline
- iga
- kergesti
- Majanduslik
- tõhusalt
- tõhus
- tõhusalt
- volitama
- võimaldades
- julgustama
- Lõpuks-lõpuni
- Lõpp-punkt
- tagades
- keskkond
- omakapital
- Eeter (ETH)
- hindama
- KUNAGI
- ilmne
- olemasolevate
- kogemus
- uurima
- laiendama
- ulatuslik
- väline
- väljavõte
- hõlbustada
- ees
- FUNKTSIOONID
- Joonis
- fail
- Faile
- täitma
- Filtrid
- Lõpuks
- järeldused
- esimene
- viis
- Paindlikkus
- Keskenduma
- keskendub
- Järel
- eest
- vorm
- Alates
- täielikult
- funktsioon
- funktsionaalsus
- funktsioonid
- Pealegi
- tulevik
- Töö tulevik
- Mängud
- lünki
- geomeetria
- saama
- Eesmärgid
- suuresti
- Olema
- he
- aitama
- aitas
- aidates
- aitab
- siin
- tema
- ajalooliselt
- Avaleht
- maja
- kodumajapidamiste
- Kuidas
- HTML
- http
- HTTPS
- sajad
- illustreeriv
- pilt
- mõjutatud
- rakendada
- täitmine
- rakendamisel
- in
- sisaldama
- lisatud
- kaasamine
- üha rohkem
- uskumatult
- Infrastruktuur
- integreerima
- integratsioon
- Intelligentsus
- suhtlevad
- interaktiivne
- huvi
- Interface
- Internet
- internetiühendus
- sisse
- IT
- ITS
- Tööturg
- liituma
- jpg
- Teadma
- teatud
- kumar
- järv
- maastik
- keel
- suur
- jätmine
- laskma
- heledam
- nagu
- piiratud
- elama
- koormus
- kohalik
- kohapeal
- liising
- tehtud
- juhtimine
- juht
- käsitsi
- kaart
- kaardistus
- tähendas
- mõõtma
- mõõtmine
- melanie
- Metaandmed
- Metoodika
- miljonid
- peegel
- kaasajastama
- Moodulid
- rohkem
- kõige
- multidistsiplinaarne
- mitmekordne
- munitsipaal-
- nimi
- emakeelena
- ne
- vajadus
- Vajadus
- vajadustele
- Uus
- NV
- of
- pakkuma
- Office
- sageli
- omaha
- on
- ONE
- or
- Korraldatud
- meie
- välja
- väljaspool
- üle
- üldine
- parameetrid
- osa
- osalema
- partnerid
- kirg
- kirglik
- sillutama
- kohta
- esitades
- faas
- pilt
- Koht
- kava
- plaanid
- Platvormid
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängimine
- populatsioonid
- positiivne
- post
- sisse
- tavad
- era-
- menetlus
- menetlused
- protsess
- produktiivne
- tõend
- tõendi mõiste
- prototüüp
- tingimusel
- Kiire
- kiiresti
- valik
- Töötlemata
- algandmed
- jõudma
- kergesti
- päris maailm
- realiseeritud
- saab
- suunata
- vähendamine
- piirkondades
- seotud
- Hoidla
- esindama
- need
- vastanutest
- vastuste
- kaasa
- põhjustanud
- Tulemused
- jõuline
- eeskirjade
- jooks
- jookseb
- sama
- ütlema
- Skaalautuvus
- skaalautuvia
- Skaala
- ekraanipilte
- Teine
- lõigud
- kindlalt
- otsima
- valima
- Serverita
- Teenused
- komplekt
- kuju
- jagatud
- ta
- näitama
- näitas
- Näitused
- märgatavalt
- lihtne
- sotsiaalmeedia
- Sotsiaalsed muutused
- Ühiskond
- lahendus
- Lahendused
- Allikad
- Ruum
- hispaania
- ruumiline
- spetsialist
- spetsialiseerunud
- konkreetse
- jagada
- sport
- SQL
- huvirühmad
- huvirühmad
- standard
- seisab
- riik
- Ühendriigid
- Samm
- Sammud
- Veel
- ladustamine
- salvestada
- ladustatud
- Lood
- Lugu
- Strateegiliselt
- Strateegia
- struktuuride
- edukas
- selline
- piisav
- Toetatud
- Toetamine
- Uuring
- jätkusuutlik
- tabel
- kohandatud
- võtab
- sihtmärk
- suunatud
- meeskond
- Tehniline
- testament
- kui
- et
- .
- Tulevik
- Töö tulevik
- Riik
- oma
- Neile
- Seal.
- sellega
- Need
- nad
- see
- need
- Läbi
- aeg
- korda
- et
- võttis
- tööriist
- Tööriistakast
- Käsiraamat
- töövahendid
- Muutma
- Transformation
- muundumised
- Reisimine
- tõsi
- üritab
- TX
- tüüp
- mõistma
- mõistmine
- tundmatu
- ajakohastatud
- ajakohastamine
- us
- USA riigid
- Kasutatud
- Kasutaja
- kasutajasõbralik
- kasutusalad
- kasutamine
- varieeruv
- väga
- elujõulisus
- virtuaalne
- visuaalne
- visualiseerimine
- tähtis
- mahud
- Ladu
- oli
- vaadates
- Tee..
- we
- web
- veebiteenused
- hästi tuntud
- olid
- M
- millal
- mis
- kuigi
- WHO
- lai
- laiem
- Wikipedia
- koos
- jooksul
- ilma
- Töö
- töötas
- töövoog
- maailm
- aastat
- veel
- sa
- Sinu
- sephyrnet
- Tõmblukk
- zoom