Egyre digitalizálódó világunkban a nagy sebességű szélessáv megfizethető hozzáférése elengedhetetlen ahhoz, hogy teljes mértékben részt vehessünk társadalmunkban, ennek ellenére még mindig több millió amerikai háztartás van internet-hozzáférés nélkül. HR&A tanácsadók– egy multidiszciplináris tanácsadó cég, amely kiterjedt munkát végez a szélessávú és a digitális befektetési területen, segíti állami, megyei és önkormányzati ügyfeleit megfizethető internet-hozzáférés elérésében a helyi specifikus digitális befogadási igények elemzésével és személyre szabott digitális befektetési tervek kidolgozásával.
Ennek a folyamatnak az első lépése a digitális szakadék feltérképezése. Mely háztartások nem férnek hozzá otthon az internethez? Hol élnek? Mik a konkrét igényeik?
A nyilvános adatforrások nem elegendőek a digitális befogadási igények valódi megértéséhez. A meglévő adatok hiányosságainak pótlása érdekében a HR&A digitális részvényfelméréseket készít, hogy teljesebb képet alkosson a digitális tőketervek kidolgozása előtt. A HR&A használt Amazon Redshift Serverless és a PAPÍR a felmérés eredményeinek hatékonyabb feldolgozása és egyéni interaktív irányítópultok létrehozása az eredmények megértésének megkönnyítése érdekében. A HR&A együttműködése Amazon RedShift és a CARTO 75%-kal csökkentette a teljes telepítési és műszerfalkezelési időt, és segítette a csapatot a következő technikai célok elérésében:
- Felmérési eredmények (CSV-fájlok) és geometriai adatok (alakfájlok) betöltése egy adattárházba
- Térinformatikai átalakítások végrehajtása kibontási, átalakítási és betöltési (ELT) feladatok segítségével a geometriai adatok és a felmérési eredmények összekapcsolásához az adattárházban, lehetővé téve a felmérési eredmények térképen való megjelenítését.
- Integráljon egy üzleti intelligencia (BI) eszközzel a fejlett térinformatikai funkciókhoz, vizualizációkhoz és leképezési irányítópultokhoz
- Az adattárház kapacitásának növelése vagy csökkentése a változó összetettségű munkaterhelések költséghatékony kezeléséhez
Ebben a bejegyzésben azt mutatjuk be, hogyan használja a HR&A az Amazon Redshift térbeli elemzését és a CARTO-t a digitális befogadás és az internet-hozzáférés költséghatékony térbeli mérésére az Egyesült Államok több államában.
Mielőtt rátérnénk az architektúra részleteire, íme, mit mond a HR&A és ügyfele, a Colorado's Office of the Future of Work a megoldásról.
„A HR&A Advisors csapatával együttműködve a Colorado Digital Equity csapata olyan egyéni irányítópultot hozott létre, amely lehetővé tette számunkra, hogy nagyon hatékonyan értékeljük elérésünket, miközben felmérjük a történelmileg marginalizált lakosságot Coloradó-szerte. Ez az AWS és CARTO által működtetett dinamikus eszköz robusztus vizualizációt nyújtott arról, hogy mely régiók és populációk léptek kapcsolatba felmérésünkkel, lehetővé téve a gyors nagyítást és a lefedettség hiányosságainak orvoslását. Az államunkban tapasztalható digitális egyenlőtlenségek kezelésében létfontosságú volt, hogy biztosíthassuk, hogy adatokat gyűjtsünk azoktól, akiket leginkább érint a digitális megosztottság Coloradóban.”
– Melanie Colletti, a Colorado-i Munka Jövőjével foglalkozó Iroda digitális tőkemenedzsere
„Az AWS lehetővé teszi számunkra, hogy az összes felmérési adatunkat biztonságosan elhelyezzük egy helyen, gyorsan súroljuk és elemezzük azokat az Amazon Redshift segítségével, és tükrözzük az eredményeket az adatvizualizációs eszközökkel, például a CARTO-val való integráció révén anélkül, hogy az adatok elhagynák az AWS-t. Ez felszabadítja a helyi számítógépes helyet, nagymértékben automatizálja a felmérés tisztítási és elemzési lépéseit, és ügyfeleink könnyen hozzáférhetnek az adatok eredményeihez. A koncepció bizonyítását és az első prototípus fejlesztését követően szinte minden állami ügyfelünk érdeklődést mutatott az iránt, hogy ugyanazt a megoldást alkalmazzák saját államaiban.”
– Harman Singh Dhodi, a HR&A Advisors, Inc. elemzője.
Nagy felmérési adatkészletek tárolása és elemzése
A HR&A a Redshift Serverless segítségével nagy mennyiségű digitális felvételi adatot tárolt egy helyen, és gyorsan átalakította és elemezte azokat a CARTO analitikai eszközkészletével, hogy kibővítse az Amazon Redshift térbeli képességeit, és integrálódjon a CARTO adatvizualizációs eszközeivel – mindezt anélkül, hogy az adatok elhagynák az AWS környezetet. . Ez jelentősen csökkentette az elemzési átfutási időt.
A CARTO Analytics eszköztár a Redshifthez felhasználó által definiált funkciók és eljárások készletéből áll, modulokba rendezve az általuk kínált funkcionalitás alapján.
Az alábbi ábra az Amazon Redshift virtuális privát felhőjével (VPC) végzett koncepciópróba során kifejlesztett megoldást és munkafolyamat-lépéseket mutatja be.
A következő szakaszokban a munkafolyamat egyes fázisait részletesebben tárgyaljuk.
Adatbevitel
A HR&A széles CSV-fájlokként kapja meg a felmérési adatokat, minden fájlban több száz oszlopot és a kapcsolódó téradatokat hexadecimális formában. Kiterjesztett jól ismert bináris (EWKB) alakfájlok formájában. Ezeket a fájlokat a rendszer tárolja Amazon egyszerű tárolási szolgáltatás (Amazon S3).
A Redshift COPY parancs Az alakzatfájlok térbeli adatainak az Amazon Redshift által támogatott natív GEOMETRY adattípusba történő feldolgozására szolgál. Kombinációja Amazon Red Shift Spectrum és a COPY parancsok a CSV-fájlokként tárolt felmérési adatok feldolgozására szolgálnak. Az ismeretlen szerkezetű fájlok esetén AWS ragasztó csúszómászó metaadatok kinyerésére és tábladefiníciók létrehozására használják a Adatkatalógus. Ezeket a táblázatdefiníciókat az Amazon Redshift külső tábláinak metaadattáraként használják.
Az ismert struktúrájú fájlok esetében egy Redshift tárolt eljárást használnak, amely paraméterként veszi a fájl helyét és a tábla nevét, és egy COPY parancsot futtat a nyers adatok megfelelő Redshift táblákba való betöltéséhez.
Adatátalakítás
Több tárolt eljárást használnak a nyers táblaadatok felosztására és a megfelelő céltáblákba való betöltésére, miközben a felhasználó által definiált átalakításokat alkalmazzák.
Ezek az átalakítási szabályok magukban foglalják a GEOMETRY adatok natív használatával történő átalakítását Vöröseltolódásos térbeli függvények, mint ST_Area és a ST_length, és a CARTO fejlett térbeli funkciók, amelyek könnyen elérhetők az Amazon Redshiftben a CARTO Analytics Toolbox for Redshift részeként telepítés. Ezenkívül az összes adatbeviteli és -átalakítási lépés automatizálva van egy AWS Lambda függvény a Redshift lekérdezés futtatásához, amikor az Amazon S3 bármely adatkészlete frissül.
Adatmegjelenítés
A HR&A csapat a CARTO Redshift csatlakozóját használta a Redshift Serverless végponthoz való csatlakozáshoz, és irányítópultokat épített a CARTO SQL interfészével és widgetekkel, hogy segítsék a leképezést, miközben dinamikus számításokat végeztek a térképadatokkal az ügyfél igényei szerint.
Az alábbiakban mintaképernyőképek láthatók az irányítópultokról, amelyek irányítószám szerint mutatják a felmérésre adott válaszokat. A világosabb árnyalatú megyék korlátozott felmérési válaszokat jelentenek, és be kell őket vonni a célzott adatgyűjtési stratégiába.
Az első képen az irányítópult látható aktív szűrők nélkül. A második képen a spanyol nyelven kitöltött válaszadók szűrt térképe és csevegései láthatók. A felhasználó kiválaszthat és válthat a szolgáltatások között, ha a megfelelő kategóriára kattint bármelyik oszlopdiagramon.
Az eredmény: Új szabvány a digitális felvételi irányítópultok automatikus frissítéséhez
Miután ezzel a módszertannal kifejlesztették az első interaktív műszerfal prototípust, a HR&A állami ügyfelei közül öt (CA, TX, NV, CO és MA) érdeklődött a megoldás iránt. A HR&A 2 hónapon belül mindegyiknél be tudta vezetni – ez hihetetlenül gyors átfutást jelent az egyéni, interaktív digitális befogadás irányítópultjánál.
A HR&A körülbelül 75%-kal csökkentette a teljes telepítési és irányítópult-kezelési időt, ami azt jelentette, hogy a tanácsadó csapat átirányíthatta figyelmét az adatok manuális elemzéséről az eredmények értelmezésére és stratégiai tervezésére. Végül az irányítópult felhasználóbarát felülete az érintettek szélesebb köre számára tette hozzáférhetőbbé a felmérési adatokat. Ez elősegítette a közös megértés kialakítását az egyes államok digitális befogadási környezetében tapasztalható hiányosságok felmérése során, és lehetővé tette a célzott adatgyűjtési stratégiát a korlátozott felmérési válaszokkal rendelkező területekről, így általánosságban támogatva a produktívabb együttműködést.
Következtetés
Ebben a bejegyzésben bemutattuk, hogy a HR&A hogyan volt képes nagy mennyiségben elemezni a térinformatikai adatokat az Amazon Redshift Serverless és a CARTO segítségével.
A HR&A sikeres megvalósításával nyilvánvaló, hogy a Redshift Serverless rugalmasságával és skálázhatóságával a pozitív társadalmi változások katalizátoraként használható. Miközben a HR&A továbbra is előkészíti a digitális méltányosság útját, történetük ékes bizonyítéka annak, hogy az AWS szolgáltatásai és partnerei hogyan használhatók fel a valós kihívások kezelésére.
Javasoljuk, hogy fedezze fel a Redshift Serverless szolgáltatást a CARTO segítségével a térbeli adatok elemzéséhez, és ossza meg velünk tapasztalatait a megjegyzésekben.
A szerzőkről
Harman Singh Dhodi A HR&A Advisors elemzője, Harman az adatelemzés iránti szenvedélyét a fenntartható infrastrukturális gyakorlatokkal, a társadalmi befogadással, a gazdasági életképességgel, az éghajlatváltozással szembeni ellenálló képességgel és az érdekelt felek kapacitásának növelésével ötvözi. Harman munkája gyakran az összetett adatkészletek vizuális történetekké és hozzáférhető eszközökké történő fordítására összpontosít, amelyek segítségével a közösségek megérthetik az előttük álló kihívásokat, és megoldásokat találhatnak a szebb jövő érdekében.
Kiran Kumar Tati Analytics Specialist Solutions Architect (Omaha, NE). Szakterülete a teljes körű elemzési megoldások kidolgozása. Több mint 13 éves tapasztalattal rendelkezik nagyszabású Big Data és Analytics megoldások tervezésében és megvalósításában. Szabadidejében szeret krikettezni és sportokat nézni.
Sapna Maheshwari Sr. Solutions Architect az Amazon Web Servicesnél. Segít ügyfeleinek nagyszabású adatelemzési megoldások kidolgozásában az AWS-en. A munkán kívül szeret utazni és új konyhákat kipróbálni.
Washim Nawaz az AWS analitikai megoldások specialistája. Több mint 15 éve dolgozik adattárház és data lake megoldások kiépítésén és hangolásán. Szenvedélyesen támogatja ügyfeleit adatplatformjaik korszerűsítésében hatékony, teljesítő és skálázható analitikai megoldásokkal. Munkán kívül szeret játékokat nézni és utazni.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- :van
- :is
- :ahol
- $ UP
- 1
- 120
- 13
- 15 év
- 15%
- 150
- 29
- 33
- 35%
- a
- Képes
- Rólunk
- hozzáférés
- hozzáférhető
- Elérése
- át
- aktív
- cím
- címzés
- fejlett
- tanácsadók
- megfizethető
- Minden termék
- lehetővé
- megengedett
- lehetővé teszi, hogy
- majdnem
- Is
- amazon
- Az Amazon Web Services
- Amerikai
- Összegek
- an
- elemzés
- elemző
- Analitikus
- Analitikai
- analitika
- elemez
- elemzése
- és a
- bármilyen
- Alkalmazása
- építészet
- VANNAK
- területek
- körül
- AS
- értékelése
- segít
- At
- Automatizált
- automaták
- automatikusan
- elérhető
- AWS
- bár
- alapján
- BE
- óta
- előtt
- között
- Nagy
- Big adatok
- fényesebb
- szélessávú
- épít
- Épület
- épült
- üzleti
- üzleti intelligencia
- by
- CA
- TUD
- képességek
- Kapacitás
- Katalizátor
- Kategória
- kihívások
- változik
- táblázatok
- Takarításra
- vásárló
- ügyfél részére
- Klíma
- felhő
- CO
- kód
- együttműködés
- gyűjtemény
- Colorado
- Oszlopok
- kombináció
- kombájnok
- Hozzászólások
- Közösségek
- teljes
- bonyolult
- bonyolultság
- áll
- számítógép
- koncepció
- Csatlakozás
- tanácsadás
- tanácsadó
- tovább
- Megfelelő
- költséghatékony
- tudott
- megye
- lefedettség
- teremt
- készítette
- teremt
- krikett
- szokás
- Ügyfelek
- vágás
- műszerfal
- műszerfalak
- dátum
- Adatelemzés
- adattó
- adatmegjelenítés
- adattárház
- adatkészletek
- definíciók
- szállít
- bevetés
- tervezés
- részlet
- részletek
- fejlett
- fejlesztése
- Fejlesztés
- digitális
- digitális világ
- megvitatni
- osszuk
- do
- ne
- le-
- alatt
- dinamikus
- minden
- könnyen
- Gazdasági
- hatékonyan
- hatékony
- eredményesen
- képessé
- lehetővé téve
- ösztönzése
- végtől végig
- Endpoint
- biztosítása
- Környezet
- részvény
- Eter (ETH)
- értékelni
- EVER
- nyilvánvaló
- létező
- tapasztalat
- feltárása
- terjed
- kiterjedt
- külső
- kivonat
- megkönnyítése
- néző
- Jellemzők
- Ábra
- filé
- Fájlok
- kitöltése
- Szűrők
- Végül
- megállapítások
- vezetéknév
- öt
- Rugalmasság
- Összpontosít
- koncentrál
- következő
- A
- forma
- ból ből
- teljesen
- funkció
- funkcionalitás
- funkciók
- Továbbá
- jövő
- A munka jövője
- Games
- rések
- geometria
- kap
- Célok
- nagymértékben
- Legyen
- he
- segít
- segített
- segít
- segít
- itt
- övé
- történelmileg
- Kezdőlap
- Ház
- háztartások
- Hogyan
- HTML
- http
- HTTPS
- Több száz
- szemléltető
- kép
- befolyásolta
- végre
- végrehajtás
- végrehajtási
- in
- tartalmaz
- beleértve
- befogadás
- egyre inkább
- hihetetlenül
- Infrastruktúra
- integrálni
- integráció
- Intelligencia
- kölcsönható
- interaktív
- kamat
- Felület
- Internet
- internet-hozzáférés
- bele
- IT
- ITS
- Állások
- csatlakozik
- jpg
- Ismer
- ismert
- Kumar
- tó
- táj
- nyelv
- nagy
- kilépő
- hadd
- öngyújtó
- mint
- Korlátozott
- él
- kiszámításának
- helyi
- helyileg
- elhelyezkedés
- készült
- vezetés
- menedzser
- kézzel
- térkép
- térképészet
- jelentett
- intézkedés
- mérés
- Melanie
- Metaadatok
- Módszertan
- Több millió
- tükör
- korszerűsítésére
- Modulok
- több
- a legtöbb
- multidiszciplináris
- többszörös
- városi
- név
- bennszülött
- ne
- szükségesség
- Szükség
- igények
- Új
- NV
- of
- ajánlat
- Office
- gyakran
- Omaha
- on
- ONE
- or
- Szervezett
- mi
- ki
- kívül
- felett
- átfogó
- paraméterek
- rész
- részt vesz
- partnerek
- szenvedély
- szenvedélyes
- egyengetni
- mert
- előadó
- fázis
- kép
- Hely
- terv
- tervek
- Platformok
- Plató
- Platón adatintelligencia
- PlatoData
- játék
- populációk
- pozitív
- állás
- powered
- gyakorlat
- magán
- eljárás
- eljárások
- folyamat
- termelő
- bizonyíték
- bizonyíték a koncepcióra
- prototípus
- feltéve,
- Quick
- gyorsan
- hatótávolság
- Nyers
- nyers adatok
- el
- készségesen
- való Világ
- realizált
- kap
- átirányítás
- csökkentés
- régiók
- összefüggő
- raktár
- képvisel
- azok
- A válaszadók
- válaszok
- eredményez
- eredményezett
- Eredmények
- erős
- szabályok
- futás
- fut
- azonos
- azt mondják
- skálázhatóság
- skálázható
- Skála
- screenshotok
- Második
- szakaszok
- biztosan
- Keresnek
- válasszuk
- vagy szerver
- Szolgáltatások
- készlet
- Alak
- megosztott
- ő
- előadás
- kimutatta,
- Műsorok
- jelentősen
- Egyszerű
- Közösség
- Szociális változás
- Társadalom
- megoldások
- Megoldások
- Források
- Hely
- spanyol
- térbeli
- szakember
- specializálódott
- különleges
- osztott
- Sport
- SQL
- érdekeltek
- érdekeltek
- standard
- állványok
- Állami
- Államok
- Lépés
- Lépései
- Még mindig
- tárolás
- tárolni
- memorizált
- TÖRTÉNETEK
- Történet
- Stratégiailag
- Stratégia
- struktúrák
- sikeres
- ilyen
- elegendő
- Támogatott
- Támogató
- Felmérés
- fenntartható
- táblázat
- szabott
- tart
- cél
- célzott
- csapat
- Műszaki
- végrendelet
- mint
- hogy
- A
- A jövő
- A munka jövője
- Az állam
- azok
- Őket
- Ott.
- ezáltal
- Ezek
- ők
- ezt
- azok
- Keresztül
- idő
- alkalommal
- nak nek
- vett
- szerszám
- Eszköztár
- eszköztár
- szerszámok
- Átalakítás
- Átalakítás
- transzformációk
- Utazó
- igaz
- próbál
- TX
- típus
- megért
- megértés
- ismeretlen
- frissítve
- frissítése
- us
- Amerikai államok
- használt
- használó
- barátságos felhasználói
- használ
- segítségével
- változó
- nagyon
- életképesség
- Tényleges
- vizuális
- megjelenítés
- fontos
- kötetek
- Raktár
- volt
- őrzés
- Út..
- we
- háló
- webes szolgáltatások
- jól ismert
- voltak
- Mit
- amikor
- ami
- míg
- WHO
- széles
- szélesebb
- Wikipedia
- val vel
- belül
- nélkül
- Munka
- dolgozott
- munkafolyamat
- világ
- év
- még
- te
- A te
- zephyrnet
- Postai irányítószám
- gyertya