V našem vse bolj digitalnem svetu je cenovno dostopen dostop do hitrega širokopasovnega omrežja nujen za polno sodelovanje v naši družbi, vendar je še vedno na milijone ameriških gospodinjstev brez dostopa do interneta. Kadrovski svetovalci— multidisciplinarno svetovalno podjetje z obsežnim delom na področju širokopasovnih povezav in digitalnega kapitala pomaga svojim državnim, okrožnim in občinskim strankam pri zagotavljanju cenovno ugodnega dostopa do interneta z analizo lokalno specifičnih potreb digitalne vključenosti in ustvarjanjem prilagojenih načrtov digitalnega kapitala.
Prvi korak v tem procesu je načrtovanje digitalnega razkoraka. Katera gospodinjstva doma nimajo dostopa do interneta? Kje živijo? Kakšne so njihove posebne potrebe?
Javni viri podatkov ne zadoščajo za izgradnjo resničnega razumevanja potreb digitalne vključenosti. Da bi zapolnili vrzeli v obstoječih podatkih, HR&A ustvari ankete o digitalnem kapitalu, da ustvari popolnejšo sliko pred razvojem načrtov digitalnega kapitala. HR&A je uporabil Amazon Redshift brez strežnika in ZEMLJEVID za učinkovitejšo obdelavo rezultatov ankete in ustvarjanje interaktivnih nadzornih plošč po meri za lažje razumevanje rezultatov. Sodelovanje HR&A z Amazon RedShift in CARTO sta povzročila 75-odstotno zmanjšanje celotnega časa uvajanja in upravljanja nadzorne plošče ter ekipi pomagala doseči naslednje tehnične cilje:
- Nalaganje rezultatov ankete (datoteke CSV) in geometrijskih podatkov (datoteke oblike) v podatkovno skladišče
- Izvajajte geoprostorske transformacije z opravili ekstrahiranja, preoblikovanja in nalaganja (ELT), da združite geometrijske podatke z rezultati ankete v podatkovnem skladišču, da omogočite vizualizacijo rezultatov ankete na zemljevidu.
- Integracija z orodjem za poslovno inteligenco (BI) za napredne geoprostorske funkcije, vizualizacije in nadzorne plošče za preslikavo
- Povečajte ali zmanjšajte zmogljivost podatkovnega skladišča, da na stroškovno učinkovit način obravnavate delovne obremenitve različne kompleksnosti
V tej objavi razkrivamo, kako HR&A uporablja prostorsko analitiko Amazon Redshift in CARTO za stroškovno učinkovito geoprostorsko merjenje digitalne vključenosti in dostopa do interneta v več zveznih državah ZDA.
Preden preidemo na podrobnosti o arhitekturi, je tukaj, kaj sta HR&A in njen naročnik, Colorado's Office of the Future of Work, povedala o rešitvi.
»V sodelovanju z ekipo pri HR&A Advisors je skupina za digitalni kapital iz Kolorada ustvarila nadzorno ploščo po meri, ki nam je omogočila zelo učinkovito ovrednotenje našega dosega med anketiranjem zgodovinsko marginaliziranega prebivalstva po Koloradu. To dinamično orodje, ki ga poganjata AWS in CARTO, je zagotovilo robustne vizualizacije o tem, katere regije in populacije so bile v interakciji z našo raziskavo, kar nam je omogočilo hitro povečavo in odpravilo vrzeli v pokritosti. Zagotavljanje, da smo lahko poiskali podatke od tistih, ki jih digitalni razkorak najbolj prizadene v Koloradu, je bilo bistvenega pomena za obravnavo digitalne neenakosti v naši državi.«
— Melanie Colletti, vodja digitalnega kapitala pri uradu za prihodnost dela v Koloradu
»AWS nam omogoča varno shranjevanje vseh naših anketnih podatkov na enem mestu, njihovo hitro čiščenje in analizo v Amazon Redshift ter zrcaljenje rezultatov z integracijo z orodji za vizualizacijo podatkov, kot je CARTO, ne da bi podatki zapustili AWS. To sprosti naš lokalni računalniški prostor, močno avtomatizira korak čiščenja ankete in analize ter omogoča našim strankam enostaven dostop do rezultatov podatkov. Po dokazu koncepta in razvoju prvega prototipa so skoraj vse naše državne stranke pokazale zanimanje za uporabo iste rešitve za svoje države.”
— Harman Singh Dhodi, analitik pri HR&A Advisors, Inc.
Shranjevanje in analiziranje velikih naborov anketnih podatkov
HR&A je uporabil Redshift Serverless za shranjevanje velikih količin digitalnih vključenih podatkov na enem mestu ter jih hitro preoblikoval in analiziral z uporabo analitičnega kompleta orodij CARTO za razširitev prostorskih zmogljivosti Amazon Redshift in integracijo z orodji za vizualizacijo podatkov CARTO – vse to, ne da bi podatki zapustili okolje AWS . To je znatno skrajšalo analitični čas.
O CARTO Analytics Toolbox za Redshift je sestavljen iz niza uporabniško definiranih funkcij in postopkov, organiziranih v nizu modulov glede na funkcionalnost, ki jo ponujajo.
Naslednja slika prikazuje korake rešitve in poteka dela, razvite med dokazom koncepta z virtualnim zasebnim oblakom (VPC) na Amazon Redshift.
V naslednjih razdelkih podrobneje obravnavamo vsako fazo v delovnem toku.
Zaužitje podatkov
HR&A prejme anketne podatke kot široke datoteke CSV s stotinami stolpcev v vsaki datoteki in povezane prostorske podatke v šestnajstiški obliki Razširjena dobro znana dvojiška datoteka (EWKB) v obliki datotek shape. Te datoteke so shranjene v Preprosta storitev shranjevanja Amazon (Amazon S3).
O Redshift COPY ukaz se uporablja za vnos prostorskih podatkov iz datotek oblike v izvorni podatkovni tip GEOMETRY, podprt v Amazon Redshift. Kombinacija Amazonov rdeči premik spektra in COPY ukaza se uporabljata za vnos anketnih podatkov, shranjenih kot datoteke CSV. Za datoteke z neznano strukturo, AWS lepilo pajki se uporabljajo za pridobivanje metapodatkov in ustvarjanje definicij tabel v Katalog podatkov. Te definicije tabel se uporabljajo kot repozitorij metapodatkov za zunanje tabele v Amazon Redshift.
Za datoteke z znanimi strukturami se uporablja shranjena procedura Redshift, ki vzame lokacijo datoteke in ime tabele kot parametra ter zažene ukaz COPY za nalaganje neobdelanih podatkov v ustrezne tabele Redshift.
Preoblikovanje podatkov
Več shranjenih procedur se uporablja za razdelitev neobdelanih podatkov tabele in njihovo nalaganje v ustrezne ciljne tabele ob uporabi uporabniško definiranih transformacij.
Ta pravila preoblikovanja vključujejo preoblikovanje podatkov GEOMETRY z izvornim Geoprostorske funkcije rdečega premikakot ST_Območje in ST_dolžina, in CARTO's napredne prostorske funkcije, ki so na voljo v Amazon Redshift kot del CARTO Analytics Toolbox za Redshift namestitev. Poleg tega so vsi koraki vnosa in preoblikovanja podatkov avtomatizirani z uporabo AWS Lambda funkcijo za zagon poizvedbe Redshift, ko se kateri koli nabor podatkov v Amazon S3 posodobi.
Vizualizacija podatkov
Ekipa HR&A je uporabila CARTO-jev konektor Redshift za povezavo s končno točko Redshift Serverless in zgradila nadzorne plošče z uporabo CARTO-jevega vmesnika SQL in pripomočkov za pomoč pri preslikavi med izvajanjem dinamičnih izračunov zemljevidnih podatkov glede na potrebe naročnika.
Sledijo vzorčni posnetki zaslona nadzornih plošč, ki prikazujejo odgovore na anketo po poštni številki. Okraji, ki so v svetlejših odtenkih, predstavljajo omejene odgovore na anketo in jih je treba vključiti v ciljno strategijo zbiranja podatkov.
Prva slika prikazuje nadzorno ploščo brez aktivnih filtrov. Druga slika prikazuje filtriran zemljevid in klepete anketirancev, ki so izpolnjevali anketo v španščini. Uporabnik lahko izbira in preklaplja med funkcijami s klikom na ustrezno kategorijo v katerem koli stolpčnem grafikonu.
Rezultat: nov standard za samodejno posodabljanje nadzornih plošč digitalne vključenosti
Po razvoju prvega prototipa interaktivne nadzorne plošče s to metodologijo je pet državnih strank HR&A (CA, TX, NV, CO in MA) pokazalo zanimanje za rešitev. HR&A ga je uspelo uvesti za vsakega od njih v 2 mesecih – neverjetno hiter preobrat za prilagojeno interaktivno nadzorno ploščo z digitalno vključitvijo.
HR&A je ugotovil tudi približno 75-odstotno zmanjšanje skupnega časa uvajanja in upravljanja nadzorne plošče, kar je pomenilo, da je svetovalna ekipa lahko preusmerila svojo pozornost z ročne analize podatkov na pomoč strankam pri interpretaciji in strateškem načrtovanju rezultatov. Nazadnje je uporabniku prijazen vmesnik nadzorne plošče omogočil dostopnost anketnih podatkov širšemu krogu zainteresiranih strani. To je pomagalo vzpostaviti skupno razumevanje pri ocenjevanju vrzeli v krajini digitalne vključenosti vsake države in omogočilo ciljno usmerjeno strategijo zbiranja podatkov z območij z omejenimi odgovori na ankete, s čimer je podpiralo bolj produktivno sodelovanje na splošno.
zaključek
V tej objavi smo pokazali, kako je HR&A lahko analiziral velike količine geoprostorskih podatkov z uporabo Amazon Redshift Serverless in CARTO.
Z uspešno implementacijo HR&A je očitno, da se Redshift Serverless s svojo prilagodljivostjo in razširljivostjo lahko uporablja kot katalizator za pozitivne družbene spremembe. Medtem ko HR&A še naprej utira pot digitalnemu kapitalu, je njihova zgodba dokaz, kako je mogoče storitve AWS in njegove partnerje uporabiti pri reševanju izzivov v resničnem svetu.
Spodbujamo vas, da raziščete Redshift Serverless s CARTO za analizo prostorskih podatkov in nam sporočite svoje izkušnje v komentarjih.
O avtorjih
Harman Singh Dhodi je analitik pri HR&A Advisors, Harman združuje svojo strast do analitike podatkov s praksami trajnostne infrastrukture, socialno vključenostjo, ekonomsko sposobnostjo preživetja, odpornostjo na podnebne spremembe in krepitvijo zmogljivosti deležnikov. Harmanovo delo se pogosto osredotoča na prevajanje zapletenih naborov podatkov v vizualne zgodbe in dostopna orodja, ki pomagajo skupnostim omogočiti razumevanje izzivov, s katerimi se soočajo, in ustvarjanje rešitev za svetlejšo prihodnost.
Kiran Kumar Tati je specialist za analitične rešitve arhitekt s sedežem v Omahi, NE. Specializiran je za izdelavo celovitih analitičnih rešitev. Ima več kot 13 let izkušenj z načrtovanjem in implementacijo obsežnih rešitev za velike podatke in analitiko. V prostem času rad igra kriket in spremlja šport.
Sapna Maheshwari je starejši arhitekt rešitev pri Amazon Web Services. Strankam pomaga pri načrtovanju rešitev za analizo podatkov v velikem obsegu na AWS. Zunaj službe rada potuje in preizkuša nove kuhinje.
Washim Nawaz je strokovnjak za analitične rešitve pri AWS. Več kot 15 let je delal na izgradnji in prilagajanju rešitev podatkovnega skladišča in podatkovnega jezera. Strastno želi pomagati strankam pri posodobitvi njihovih podatkovnih platform z učinkovitimi, zmogljivimi in razširljivimi analitičnimi rešitvami. Zunaj dela uživa v gledanju tekem in potovanjih.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- :ima
- : je
- :kje
- $GOR
- 1
- 120
- 13
- 15 let
- 15%
- 150
- 29
- 33
- 35%
- a
- Sposobna
- O meni
- dostop
- dostopen
- Doseči
- čez
- aktivna
- Naslov
- naslavljanje
- napredno
- svetovalci
- cenovno
- vsi
- omogočajo
- dovoljene
- omogoča
- skoraj
- Prav tako
- Amazon
- Amazon Web Services
- Ameriška
- zneski
- an
- Analiza
- Analitik
- Analitični
- Analitično
- analitika
- analizirati
- analiziranje
- in
- kaj
- Uporaba
- Arhitektura
- SE
- območja
- okoli
- AS
- Ocenjevanje
- pomoč
- At
- Avtomatizirano
- avtomatizira
- samodejno
- Na voljo
- AWS
- bar
- temeljijo
- BE
- bilo
- pred
- med
- Big
- Big Podatki
- svetlejši
- širokopasovni
- izgradnjo
- Building
- zgrajena
- poslovni
- Poslovna inteligenca
- by
- CA
- CAN
- Zmogljivosti
- kapaciteta
- Katalizator
- Kategorija
- izzivi
- spremenite
- Charts
- čiščenje
- stranke
- stranke
- Podnebne
- Cloud
- CO
- Koda
- sodelovanje
- zbirka
- Colorado
- Stolpci
- kombinacija
- združuje
- komentarji
- skupnosti
- dokončanje
- kompleksna
- kompleksnost
- sestavljajo
- računalnik
- Koncept
- Connect
- svetovanje
- svetovanje
- se nadaljuje
- Ustrezno
- stroškovno učinkovito
- bi
- občine
- pokritost
- ustvarjajo
- ustvaril
- ustvari
- kriket
- po meri
- Stranke, ki so
- Cut
- Armaturna plošča
- nadzorne plošče
- datum
- Podatkovna analiza
- Data jezero
- vizualizacija podatkov
- podatkovno skladišče
- nabor podatkov
- definicije
- poda
- uvajanje
- oblikovanje
- Podatki
- Podrobnosti
- razvili
- razvoju
- Razvoj
- digitalni
- digitalni svet
- razpravlja
- razdeli
- do
- dont
- navzdol
- med
- dinamično
- vsak
- enostavno
- Gospodarska
- učinkovito
- učinkovite
- učinkovito
- opolnomočiti
- omogočanje
- spodbujanje
- konec koncev
- Končna točka
- zagotoviti
- okolje
- pravičnost
- Eter (ETH)
- oceniti
- VEDNO
- očitno
- obstoječih
- izkušnje
- raziskuje
- razširiti
- obsežen
- zunanja
- ekstrakt
- olajšati
- s katerimi se sooča
- Lastnosti
- Slika
- file
- datoteke
- izpolnite
- Filtri
- končno
- Ugotovitve
- prva
- pet
- prilagodljivost
- Osredotočite
- Osredotoča
- po
- za
- obrazec
- iz
- v celoti
- funkcija
- funkcionalnost
- funkcije
- Poleg tega
- Prihodnost
- Prihodnost dela
- Games
- vrzeli
- geometrija
- dobili
- Cilji
- zelo
- Imajo
- he
- pomoč
- pomagal
- pomoč
- Pomaga
- tukaj
- njegov
- Zgodovinsko
- Domov
- Hiša
- gospodinjstva
- Kako
- HTML
- http
- HTTPS
- Stotine
- ponazarja
- slika
- prizadeti
- izvajati
- Izvajanje
- izvajanja
- in
- vključujejo
- vključeno
- vključitev
- vedno
- neverjetno
- Infrastruktura
- integrirati
- integracija
- Intelligence
- medsebojno delovanje
- interaktivno
- obresti
- vmesnik
- Internet
- dostop do interneta
- v
- IT
- ITS
- Delovna mesta
- pridružite
- jpg
- Vedite
- znano
- Kumar
- Jezero
- Pokrajina
- jezik
- velika
- odhodu
- Naj
- lažji
- kot
- Limited
- v živo
- obremenitev
- lokalna
- lokalno
- kraj aktivnosti
- je
- upravljanje
- upravitelj
- ročno
- map
- kartiranje
- pomenilo
- merjenje
- Merjenje
- melanie
- metapodatki
- Metodologija
- milijoni
- ogledalo
- posodobiti
- Moduli
- več
- Najbolj
- multidisciplinarno
- več
- Občinski
- Ime
- materni
- ne
- nujnost
- Nimate
- potrebe
- Novo
- NV
- of
- ponudba
- Office
- pogosto
- omaha
- on
- ONE
- or
- Organizirano
- naši
- ven
- zunaj
- več
- Splošni
- parametri
- del
- sodelovanje
- partnerji
- strast
- strastno
- tlakovati
- za
- izvajati
- faza
- slika
- Kraj
- Načrt
- načrti
- Platforme
- platon
- Platonova podatkovna inteligenca
- PlatoData
- igranje
- prebivalstva
- pozitiven
- Prispevek
- poganja
- vaje
- zasebna
- postopek
- Postopki
- Postopek
- produktivno
- dokazilo
- dokaz koncepta
- Prototip
- če
- Hitri
- hitro
- območje
- Surovi
- surovi podatki
- dosežejo
- zlahka
- resnični svet
- realizirano
- prejme
- preusmeriti
- Zmanjšanje
- regije
- povezane
- Skladišče
- predstavljajo
- tisti,
- anketirancev
- odgovorov
- povzroči
- rezultat
- Rezultati
- robusten
- pravila
- Run
- deluje
- Enako
- pravijo,
- Prilagodljivost
- razširljive
- Lestvica
- galerija
- drugi
- oddelki
- Varno
- Seek
- izberite
- Brez strežnika
- Storitve
- nastavite
- Oblikujte
- deli
- je
- Prikaži
- je pokazala,
- Razstave
- bistveno
- Enostavno
- socialna
- Družbena sprememba
- Društvo
- Rešitev
- rešitve
- Viri
- Vesolje
- španski
- prostorsko
- specialist
- specializirano
- specifična
- po delih
- Šport
- SQL
- deležnik
- interesne skupine
- standardna
- stojala
- Država
- Države
- Korak
- Koraki
- Še vedno
- shranjevanje
- trgovina
- shranjeni
- zgodbe
- Zgodba
- Strateško
- Strategija
- strukture
- uspešno
- taka
- dovolj
- Podprti
- Podpora
- Anketa
- trajnostno
- miza
- prilagojene
- meni
- ciljna
- ciljno
- skupina
- tehnični
- testament
- kot
- da
- O
- Prihodnost
- Prihodnost dela
- Država
- njihove
- Njih
- Tukaj.
- s tem
- te
- jih
- ta
- tisti,
- skozi
- čas
- krat
- do
- vzel
- orodje
- Toolbox
- Orodje
- orodja
- Transform
- Preoblikovanje
- transformacije
- Potovanje
- Res
- poskuša
- TX
- tip
- razumeli
- razumevanje
- neznan
- posodobljeno
- posodabljanje
- us
- ZDA
- Rabljeni
- uporabnik
- Uporabniku prijazen
- uporablja
- uporabo
- različno
- zelo
- sposobnost preživetja
- Virtual
- vizualna
- vizualizacija
- ključnega pomena
- prostornine
- Skladišče
- je
- gledanju
- način..
- we
- web
- spletne storitve
- dobro znana
- so bili
- Kaj
- kdaj
- ki
- medtem
- WHO
- široka
- širše
- Wikipedia
- z
- v
- brez
- delo
- delal
- potek dela
- svet
- let
- še
- jo
- Vaša rutina za
- zefirnet
- Zip
- zoom