Gittikçe dijitalleşen dünyamızda, yüksek hızlı geniş banda uygun fiyatlı erişim, toplumumuza tam olarak katılmak için bir zorunluluktur, ancak hâlâ internet erişimi olmayan milyonlarca Amerikalı hane bulunmaktadır. İK&A Danışmanları— geniş bant ve dijital eşitlik alanında kapsamlı çalışmalar yürüten çok disiplinli bir danışmanlık şirketi, yerele özgü dijital katılım ihtiyaçlarını analiz ederek ve özel dijital eşitlik planları oluşturarak eyalet, ilçe ve belediye müşterilerinin uygun fiyatlı internet erişimi sağlamalarına yardımcı oluyor.
Bu süreçteki ilk adım dijital uçurumun haritasını çıkarmaktır. Hangi hanelerin evinde internet erişimi yok? Onlar nerede yaşıyor? Özel ihtiyaçları nelerdir?
Kamuya açık veri kaynakları, dijital katılım ihtiyaçlarının gerçek anlamda anlaşılmasını sağlamak için yeterli değildir. HR&A, mevcut verilerdeki boşlukları doldurmak için dijital özsermaye planları geliştirmeden önce daha eksiksiz bir resim oluşturmak amacıyla dijital özsermaye anketleri oluşturur. İK&A kullanıldı Amazon Redshift Sunucusuz ve KAĞIT anket bulgularını daha verimli bir şekilde işlemek ve sonuçların anlaşılmasını kolaylaştırmak için özel etkileşimli gösterge tabloları oluşturmak. HR&A'nın işbirliği Amazon Kırmızıya Kaydırma ve CARTO, genel dağıtım ve kontrol paneli yönetimi süresinde %75'lik bir azalmayla sonuçlandı ve ekibin aşağıdaki teknik hedeflere ulaşmasına yardımcı oldu:
- Anket sonuçlarını (CSV dosyaları) ve geometri verilerini (şekil dosyaları) veri ambarına yükleyin
- Anket sonuçlarının bir harita üzerinde görselleştirilmesine olanak sağlamak üzere veri ambarındaki geometri verilerini anket sonuçlarıyla birleştirmek için ayıklama, dönüştürme ve yükleme (ELT) işlerini kullanarak coğrafi uzamsal dönüşümler gerçekleştirin
- Gelişmiş coğrafi-uzaysal işlevler, görselleştirmeler ve haritalama kontrol panelleri için bir iş zekası (BI) aracıyla entegrasyon
- Değişken karmaşıklıktaki iş yüklerini uygun maliyetli bir şekilde ele almak için veri ambarı kapasitesini artırın veya azaltın
Bu yazıda HR&A'nın, birden fazla ABD eyaletinde dijital katılımın ve internet erişiminin uygun maliyetli coğrafi-uzamsal ölçümü için Amazon Redshift mekansal analitiğini ve CARTO'yu nasıl kullandığını açıklayacağız.
Mimari ayrıntılara geçmeden önce, HR&A ve onun müşterisi olan Colorado İşin Geleceği Ofisi'nin çözüm hakkında söyleyeceklerini burada bulabilirsiniz.
“HR&A Advisors ekibiyle birlikte çalışan Colorado'nun Dijital Sermaye Ekibi, Colorado genelinde tarihsel olarak dışlanmış nüfusları araştırırken erişimimizi çok etkili bir şekilde değerlendirmemize olanak tanıyan özel bir kontrol paneli oluşturdu. AWS ve CARTO tarafından desteklenen bu dinamik araç, hangi bölgelerin ve nüfusların anketimizle etkileşimde olduğuna ilişkin sağlam görselleştirmeler sunarak hızlı bir şekilde yakınlaştırma yapmamıza ve kapsama alanındaki boşlukları gidermemize olanak sağladı. Colorado'daki dijital uçurumdan en çok etkilenenlerden veri alabildiğimizden emin olmak, eyaletimizdeki dijital eşitsizliklerin ele alınması açısından hayati önem taşıyor."
— Melanie Colletti, Colorado'nun İşin Geleceği Ofisi Dijital Sermaye Yöneticisi
“AWS, tüm anket verilerimizi güvenli bir şekilde tek bir yerde saklamamıza, bunları Amazon Redshift'te hızlı bir şekilde temizleyip analiz etmemize ve veriler AWS'den hiç ayrılmadan CARTO gibi veri görselleştirme araçlarıyla entegrasyon yoluyla sonuçları yansıtmamıza olanak tanıyor. Bu, yerel bilgisayar alanımızı boşaltır, anket temizleme ve analiz adımını büyük ölçüde otomatikleştirir ve müşterilerimizin veri sonuçlarına kolayca erişmesine olanak tanır. Konseptin kanıtlanması ve ilk prototipin geliştirilmesinin ardından, neredeyse tüm eyalet müşterilerimiz aynı çözümü kendi eyaletleri için kullanmaya ilgi gösterdi."
— Harman Singh Dhodi, HR&A Advisors, Inc.'de Analist
Büyük anket veri kümelerini depolama ve analiz etme
HR&A, büyük miktarlardaki dijital dahil etme verilerini tek bir yerde depolamak ve Amazon Redshift'in mekansal yeteneklerini genişletmek ve CARTO'nun veri görselleştirme araçlarıyla entegre olmak için CARTO'nun analitik araç setini kullanarak bunları hızlı bir şekilde dönüştürmek ve analiz etmek için Redshift Serverless'ı kullandı; üstelik veriler AWS ortamından hiç ayrılmadan . Bu, analitik geri dönüş sürelerini önemli ölçüde kısalttı.
The Redshift için CARTO Analitik Araç Kutusu sundukları işlevselliğe dayalı olarak bir dizi modül halinde düzenlenmiş bir dizi kullanıcı tanımlı işlev ve prosedürden oluşur.
Aşağıdaki şekilde Amazon Redshift'te sanal özel bulut (VPC) ile konsept kanıtlaması sırasında geliştirilen çözüm ve iş akışı adımları gösterilmektedir.
Aşağıdaki bölümlerde iş akışındaki her aşamayı daha ayrıntılı olarak tartışacağız.
Veri alımı
HR&A, anket verilerini her dosyada yüzlerce sütun içeren geniş CSV dosyaları ve ilgili mekansal verileri onaltılık olarak alır Genişletilmiş Tanınmış İkili (EWKB) şekil dosyaları şeklinde. Bu dosyalar içinde saklanır Amazon Basit Depolama Hizmeti (Amazon S3).
The Kırmızıya Kaydırma KOPYALAMA komutu şekil dosyalarından uzamsal verileri Amazon Redshift'te desteklenen yerel GEOMETRY veri türüne aktarmak için kullanılır. Kombinasyonu Amazon Kırmızıya Kaydırma Spektrumu ve COPY komutları, CSV dosyaları olarak depolanan anket verilerini almak için kullanılır. Yapısı bilinmeyen dosyalar için, AWS Tutkal tarayıcıların meta verileri çıkarmak ve tablo tanımları oluşturmak için kullanılır. Veri Kataloğu. Bu tablo tanımları, Amazon Redshift'teki harici tablolar için meta veri deposu olarak kullanılır.
Bilinen yapılara sahip dosyalar için, dosya konumunu ve tablo adını parametre olarak alan ve ham verileri karşılık gelen Redshift tablolarına yüklemek için bir COPY komutunu çalıştıran bir Redshift saklı yordamı kullanılır.
Veri dönüşümü
Ham tablo verilerini bölmek ve kullanıcı tanımlı dönüşümleri uygularken ilgili hedef tablolara yüklemek için birden fazla saklı prosedür kullanılır.
Bu dönüştürme kuralları, GEOMETRY verilerinin yerel kullanılarak dönüştürülmesini içerir. Kırmızıya kayma jeo-uzaysal işlevler, sevmek ST_Alan ve ST_uzunluğuve CARTO'nun gelişmiş mekansal işlevlerCARTO Analytics Araç Kutusu for Redshift'in bir parçası olarak Amazon Redshift'te kolayca edinilebilir. Kurulum. Ayrıca, tüm veri alımı ve dönüştürme adımları bir AWS Lambda Amazon S3'teki herhangi bir veri kümesi güncellendiğinde Redshift sorgusunu çalıştırma işlevi.
Veri goruntuleme
HR&A ekibi, Redshift Sunucusuz uç noktasına bağlanmak için CARTO'nun Redshift bağlayıcısını kullandı ve müşterinin ihtiyaçlarına göre harita verilerinin dinamik hesaplamalarını gerçekleştirirken haritalamaya yardımcı olmak için CARTO'nun SQL arayüzünü ve widget'larını kullanarak gösterge tabloları oluşturdu.
Aşağıda anket yanıtlarını posta koduna göre gösteren kontrol panellerinin örnek ekran görüntüleri bulunmaktadır. Daha açık tonlardaki ilçeler sınırlı anket yanıtlarını temsil etmektedir ve hedeflenen veri toplama stratejisine dahil edilmeleri gerekmektedir.
İlk resimde kontrol paneli herhangi bir aktif filtre olmadan gösterilmektedir. İkinci resimde, İspanyolca ankete katılan katılımcıların filtrelenmiş haritaları ve sohbetleri gösterilmektedir. Kullanıcı herhangi bir çubuk grafikte ilgili kategoriye tıklayarak özellikler arasında seçim yapabilir ve geçiş yapabilir.
Sonuç: Dijital katılım kontrol panellerinin otomatik olarak güncellenmesi için yeni bir standart
Bu metodolojiyle ilk etkileşimli gösterge tablosu prototipini geliştirdikten sonra, HR&A'nın devlet müşterilerinden beşi (CA, TX, NV, CO ve MA) çözüme ilgi gösterdi. HR&A bunu her biri için 2 ay içinde uygulamayı başardı; bu, özel, etkileşimli dijital katılım panosu için inanılmaz derecede hızlı bir geri dönüş oldu.
HR&A ayrıca genel dağıtım ve kontrol paneli yönetimi süresinde de yaklaşık %75'lik bir azalma fark etti; bu, danışmanlık ekibinin odaklarını verileri manuel olarak analiz etmekten, müşterilerin sonuçları yorumlamasına ve stratejik olarak planlama yapmasına yardımcı olmaya yönlendirebileceği anlamına geliyordu. Son olarak kontrol panelinin kullanıcı dostu arayüzü, anket verilerinin daha geniş bir paydaş kitlesi için daha erişilebilir olmasını sağladı. Bu, her eyaletin dijital katılım ortamındaki boşlukları değerlendirirken ortak bir anlayış oluşturulmasına yardımcı oldu ve anket yanıtlarının sınırlı olduğu bölgelerden hedefe yönelik bir veri toplama stratejisine izin vererek genel olarak daha verimli işbirliğini destekledi.
Sonuç
Bu yazıda HR&A'nin Amazon Redshift Serverless ve CARTO'yu kullanarak büyük hacimlerdeki coğrafi-uzaysal verileri nasıl analiz edebildiğini gösterdik.
HR&A'nın başarılı uygulamasıyla Redshift Serverless'ın esnekliği ve ölçeklenebilirliğiyle olumlu toplumsal değişim için bir katalizör olarak kullanılabileceği açıkça görülüyor. HR&A, dijital eşitliğin önünü açmaya devam ederken, hikayeleri AWS hizmetlerinin ve iş ortaklarının gerçek dünyadaki zorlukların üstesinden gelmek için nasıl kullanılabileceğinin bir kanıtı olarak duruyor.
Uzamsal verileri analiz etmek için CARTO ile Redshift Serverless'ı keşfetmenizi ve yorumlarınızda deneyiminizi bize bildirmenizi öneririz.
yazarlar hakkında
Harman Singh Dhodi HR&A Advisors'ta Analist olan Harman, veri analitiğine olan tutkusunu sürdürülebilir altyapı uygulamaları, sosyal katılım, ekonomik sürdürülebilirlik, iklim değişikliğine dayanıklılık ve paydaş kapasitesi oluşturma ile birleştiriyor. Harman'ın çalışmaları genellikle karmaşık veri kümelerini görsel hikayelere ve toplulukların karşılaştıkları zorlukları anlamalarına ve daha parlak bir gelecek için çözümler üretmelerine yardımcı olan erişilebilir araçlara dönüştürmeye odaklanıyor.
Kiran Kumar Tati Omaha, NE merkezli bir Analitik Uzmanı Çözüm Mimarıdır. Uçtan uca analitik çözümler oluşturma konusunda uzmandır. Büyük ölçekli Büyük Veri ve Analitik çözümlerinin tasarlanması ve uygulanması konusunda 13 yıldan fazla deneyime sahiptir. Boş zamanlarında kriket oynamaktan ve spor izlemekten hoşlanıyor.
Sapna Maheshwari Amazon Web Services'te Kıdemli Çözüm Mimarıdır. Müşterilerin AWS'de geniş ölçekte veri analizi çözümleri tasarlamasına yardımcı oluyor. İş dışında seyahat etmekten ve yeni mutfaklar denemekten hoşlanıyor.
Washim Navaz AWS'de Analitik Uzman Çözüm Mimarıdır. 15 yılı aşkın bir süredir veri ambarı ve veri gölü çözümlerinin oluşturulması ve ayarlanması üzerinde çalıştı. Müşterilerin veri platformlarını verimli, performanslı ve ölçeklenebilir analitik çözümlerle modernleştirmelerine yardımcı olma konusunda tutkulu. İş dışında oyun izlemeyi ve seyahat etmeyi seviyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- :vardır
- :dır-dir
- :Neresi
- $UP
- 1
- 120
- 13
- 15 yıl
- %15
- 150
- 29
- 33
- %35
- a
- Yapabilmek
- Hakkımızda
- erişim
- ulaşılabilir
- Başarmak
- karşısında
- aktif
- adres
- adresleme
- ileri
- danışman
- uygun
- Türkiye
- izin vermek
- izin
- veriyor
- neredeyse
- Ayrıca
- Amazon
- Amazon Web Servisleri
- Amerikan
- tutarları
- an
- analiz
- analist
- Analitik
- Analitik
- analytics
- çözümlemek
- analiz
- ve
- herhangi
- Uygulanması
- mimari
- ARE
- alanlar
- etrafında
- AS
- Değerlendirme
- yardım
- At
- Otomatik
- otomata
- otomatik olarak
- mevcut
- AWS
- bar
- merkezli
- BE
- olmuştur
- önce
- arasında
- Büyük
- büyük Veri
- parlak
- geniş bant
- inşa etmek
- bina
- yapılı
- iş
- iş zekası
- by
- CA
- CAN
- yetenekleri
- Kapasite
- katalizatör
- Kategoriler
- zorluklar
- değişiklik
- Grafikler
- Temizlik
- müşteri
- istemciler
- İklim
- bulut
- CO
- kod
- işbirliği
- Toplamak
- Colorado
- Sütunlar
- kombinasyon
- biçerdöverler
- yorumlar
- topluluklar
- tamamlamak
- karmaşık
- karmaşıklık
- oluşan
- bilgisayar
- kavram
- Sosyal medya
- danışmanlık
- danışman
- devam ediyor
- uyan
- uygun maliyetli
- olabilir
- ilçe
- kapsama
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- oluşturur
- kriket
- görenek
- Müşteriler
- kesim
- gösterge paneli
- gösterge tabloları
- veri
- Veri Analizi
- Veri Gölü
- veri goruntuleme
- veri ambarı
- veri kümeleri
- tanımları
- teslim etmek
- açılma
- tasarım
- ayrıntı
- ayrıntılar
- gelişmiş
- gelişen
- gelişme
- dijital
- dijital dünya
- tartışmak
- bölmek
- do
- Dont
- aşağı
- sırasında
- dinamik
- her
- kolayca
- Ekonomik
- etkili bir şekilde
- verimli
- verimli biçimde
- güçlendirmek
- etkinleştirme
- teşvik etmek
- son uca
- Son nokta
- sağlanması
- çevre
- öz kaynak
- Eter (ETH)
- değerlendirmek
- hİÇ
- belirgin
- mevcut
- deneyim
- keşfetmek
- uzatmak
- kapsamlı, geniş
- dış
- çıkarmak
- kolaylaştırmak
- karşı
- Özellikler
- şekil
- fileto
- dosyalar
- doldurmak
- filtreler
- Nihayet
- bulgular
- Ad
- beş
- Esneklik
- odak
- odaklanır
- takip etme
- İçin
- Airdrop Formu
- itibaren
- tamamen
- işlev
- işlevsellik
- fonksiyonlar
- Ayrıca
- gelecek
- İşin Geleceği
- Games
- boşluklar
- geometri
- almak
- Goller
- çok
- Var
- he
- yardım et
- yardım
- yardım
- yardımcı olur
- okuyun
- onun
- tarihsel
- Ana Sayfa
- ev
- hane
- Ne kadar
- HTML
- http
- HTTPS
- Yüzlerce
- gösteren
- görüntü
- etkiledi
- uygulamak
- uygulama
- uygulanması
- in
- dahil
- dahil
- içerme
- giderek
- inanılmaz
- Altyapı
- entegre
- bütünleşme
- İstihbarat
- etkileşim
- interaktif
- faiz
- arayüzey
- Internet
- internet erişimi
- içine
- IT
- ONUN
- Mesleki Öğretiler
- kaydol
- jpg
- Bilmek
- bilinen
- kumar
- göl
- manzara
- dil
- büyük
- ayrılma
- izin
- çakmak
- sevmek
- Sınırlı
- yaşamak
- yük
- yerel
- lokal olarak
- yer
- yapılmış
- yönetim
- müdür
- el ile
- harita
- haritalama
- demek
- ölçmek
- ölçüm
- melanie
- Metadata
- metodoloji
- milyonlarca
- ayna
- modernleştirmek
- Modüller
- Daha
- çoğu
- çok disiplinli
- çoklu
- belediyeye ait
- isim
- yerli
- ne
- zorunluluk
- gerek
- ihtiyaçlar
- yeni
- NV
- of
- teklif
- Office
- sık sık
- omaha
- on
- ONE
- or
- Düzenlenmiş
- bizim
- dışarı
- dışında
- tekrar
- tüm
- parametreler
- Bölüm
- katılmak
- ortaklar
- tutku
- tutkulu
- kaldırım döşemek
- başına
- icra
- faz
- resim
- yer
- plan
- ağladım
- Platformlar
- Platon
- Plato Veri Zekası
- PlatoVeri
- oynama
- popülasyonları
- pozitif
- Çivi
- powered
- uygulamalar
- özel
- prosedür
- prosedürler
- süreç
- üretken
- kanıt
- kavramın ispatı
- prototip
- sağlanan
- Hızlı
- hızla
- menzil
- Çiğ
- işlenmemiş veri
- ulaşmak
- kolayca
- Gerçek dünya
- fark
- alır
- yönlendirme
- azalma
- bölgeler
- ilgili
- Depo
- temsil etmek
- bu
- katılımcıların
- yanıtları
- sonuç
- sonuçlandı
- Sonuçlar
- gürbüz
- kurallar
- koşmak
- ishal
- aynı
- söylemek
- ölçeklenebilirlik
- ölçeklenebilir
- ölçek
- ekran
- İkinci
- bölümler
- Güvenli
- Aramak
- seçmek
- Serverless
- Hizmetler
- set
- Shape
- Paylaşılan
- o
- şov
- gösterdi
- Gösteriler
- önemli ölçüde
- Basit
- Sosyal Medya
- Sosyal değişim
- Toplum
- çözüm
- Çözümler
- kaynaklar
- uzay
- İspanyolca
- uzaysal
- uzman
- uzmanlaşmış
- özel
- bölmek
- Spor
- SQL
- paydaşlar
- paydaşlar
- standart
- standları
- Eyalet
- Devletler
- adım
- Basamaklar
- Yine
- hafızası
- mağaza
- saklı
- hikayeler
- Öykü
- Stratejik olarak
- Stratejileri
- yapılar
- başarılı
- böyle
- yeterli
- destekli
- Destek
- Anket
- sürdürülebilir
- tablo
- ısmarlama
- alır
- Hedef
- Hedeflenen
- takım
- Teknik
- vasiyetname
- göre
- o
- The
- Gelecek
- İşin Geleceği
- Devlet
- ve bazı Asya
- Onları
- Orada.
- böylece
- Bunlar
- onlar
- Re-Tweet
- Bu
- İçinden
- zaman
- zamanlar
- için
- aldı
- araç
- Araç Kutusu
- araç
- araçlar
- Dönüştürmek
- Dönüşüm
- dönüşümler
- Seyahat
- gerçek
- çalışıyor
- TX
- tip
- anlamak
- anlayış
- bilinmeyen
- güncellenmiş
- güncellenmesi
- us
- ABD Devletleri
- Kullanılmış
- kullanıcı
- kullanıcı dostu
- kullanım
- kullanma
- değişen
- çok
- yaşayabilirlik
- Sanal
- görsel
- görüntüleme
- hayati
- hacimleri
- depo
- oldu
- izlerken
- Yol..
- we
- ağ
- web hizmetleri
- tanınmış
- vardı
- Ne
- ne zaman
- hangi
- süre
- DSÖ
- geniş
- Daha geniş
- Vikipedi
- ile
- içinde
- olmadan
- İş
- işlenmiş
- iş akışı
- Dünya
- yıl
- henüz
- sen
- zefirnet
- zip
- yakınlaştırma