Trong thế giới ngày càng kỹ thuật số của chúng ta, việc truy cập băng thông rộng tốc độ cao với giá cả phải chăng là điều cần thiết để tham gia đầy đủ vào xã hội của chúng ta, tuy nhiên vẫn còn hàng triệu hộ gia đình Mỹ không có quyền truy cập Internet. Cố vấn Nhân sự & A—một công ty tư vấn đa ngành với hoạt động sâu rộng trong lĩnh vực công bằng kỹ thuật số và băng thông rộng đang giúp các khách hàng ở tiểu bang, quận và thành phố cung cấp khả năng truy cập Internet với giá cả phải chăng bằng cách phân tích các nhu cầu hòa nhập kỹ thuật số cụ thể tại địa phương và xây dựng các kế hoạch công bằng kỹ thuật số phù hợp.
Bước đầu tiên trong quá trình này là lập bản đồ phân chia kỹ thuật số. Những hộ gia đình nào không có quyền truy cập internet ở nhà? Họ sống ở đâu? Nhu cầu cụ thể của họ là gì?
Các nguồn dữ liệu công cộng không đủ để xây dựng sự hiểu biết thực sự về nhu cầu hòa nhập kỹ thuật số. Để lấp đầy những khoảng trống trong dữ liệu hiện có, HR&A tạo ra các khảo sát về công bằng kỹ thuật số để xây dựng một bức tranh hoàn chỉnh hơn trước khi phát triển các kế hoạch công bằng kỹ thuật số. HR&A đã sử dụng Amazon Redshift không có máy chủ và GIỎ HÀNG để xử lý kết quả khảo sát hiệu quả hơn và tạo bảng thông tin tương tác tùy chỉnh để tạo điều kiện hiểu kết quả. Sự hợp tác của HR&A với Amazon RedShift và CARTO đã giúp giảm 75% thời gian triển khai và quản lý bảng thông tin tổng thể, đồng thời giúp nhóm đạt được các mục tiêu kỹ thuật sau:
- Tải kết quả khảo sát (tệp CSV) và dữ liệu hình học (tệp hình dạng) trong kho dữ liệu
- Thực hiện các chuyển đổi không gian địa lý bằng cách sử dụng các công việc trích xuất, chuyển đổi và tải (ELT) để nối dữ liệu hình học với kết quả khảo sát trong kho dữ liệu nhằm cho phép trực quan hóa kết quả khảo sát trên bản đồ
- Tích hợp với công cụ thông minh kinh doanh (BI) để có các chức năng không gian địa lý, trực quan hóa và bảng điều khiển bản đồ nâng cao
- Tăng hoặc giảm dung lượng kho dữ liệu để giải quyết khối lượng công việc có độ phức tạp khác nhau theo cách tiết kiệm chi phí
Trong bài đăng này, chúng tôi giải thích cách HR&A sử dụng phân tích không gian và CARTO của Amazon Redshift để đo lường không gian địa lý hiệu quả về chi phí cho việc đưa kỹ thuật số và truy cập Internet vào nhiều tiểu bang của Hoa Kỳ.
Trước khi đi vào chi tiết về kiến trúc, đây là những gì HR&A và khách hàng của họ, Văn phòng Công việc Tương lai của Colorado, nói về giải pháp.
“Làm việc với nhóm tại HR&A Advisors, Nhóm Công bằng Kỹ thuật số của Colorado đã tạo ra một bảng điều khiển tùy chỉnh cho phép chúng tôi đánh giá rất hiệu quả phạm vi tiếp cận của mình trong khi khảo sát những nhóm dân cư bị thiệt thòi trong lịch sử trên khắp Colorado. Công cụ động này, được cung cấp bởi AWS và CARTO, đã cung cấp hình ảnh trực quan mạnh mẽ về các khu vực và nhóm dân cư đang tương tác với khảo sát của chúng tôi, cho phép chúng tôi phóng to nhanh chóng và giải quyết các khoảng trống trong phạm vi bao phủ. Việc đảm bảo chúng tôi có thể tìm kiếm dữ liệu từ những người bị ảnh hưởng nhiều nhất bởi khoảng cách kỹ thuật số ở Colorado là rất quan trọng để giải quyết sự bất bình đẳng về kỹ thuật số ở tiểu bang của chúng tôi.”
— Melanie Colletti, Giám đốc Công bằng Kỹ thuật số tại Văn phòng Tương lai Công việc của Colorado
“AWS cho phép chúng tôi lưu trữ an toàn tất cả dữ liệu khảo sát của mình ở một nơi, nhanh chóng lọc và phân tích trên Amazon Redshift, đồng thời phản chiếu kết quả thông qua tích hợp với các công cụ trực quan hóa dữ liệu như CARTO mà không cần rời khỏi AWS. Điều này giải phóng không gian máy tính cục bộ của chúng tôi, tự động hóa đáng kể bước phân tích và làm sạch khảo sát, đồng thời cho phép khách hàng của chúng tôi dễ dàng truy cập vào kết quả dữ liệu. Sau bằng chứng về khái niệm và sự phát triển của nguyên mẫu đầu tiên, hầu hết tất cả các khách hàng ở tiểu bang của chúng tôi đều tỏ ra quan tâm đến việc sử dụng cùng một giải pháp cho tiểu bang của họ.”
— Harman Singh Dhodi, Nhà phân tích tại HR&A Advisors, Inc.
Lưu trữ và phân tích bộ dữ liệu khảo sát lớn
HR&A đã sử dụng Redshift Serverless để lưu trữ lượng lớn dữ liệu kỹ thuật số ở một nơi, nhanh chóng chuyển đổi và phân tích dữ liệu đó bằng bộ công cụ phân tích của CARTO để mở rộng khả năng không gian của Amazon Redshift và tích hợp với các công cụ trực quan hóa dữ liệu của CARTO—tất cả đều không có dữ liệu rời khỏi môi trường AWS . Điều này cắt giảm đáng kể thời gian quay vòng phân tích.
Sản phẩm Hộp công cụ phân tích CARTO cho Redshift bao gồm một tập hợp các hàm và thủ tục do người dùng xác định, được tổ chức thành một tập hợp các mô-đun dựa trên chức năng mà chúng cung cấp.
Hình sau đây minh họa giải pháp và các bước quy trình làm việc được phát triển trong quá trình thử nghiệm khái niệm với đám mây riêng ảo (VPC) trên Amazon Redshift.
Trong các phần sau, chúng tôi sẽ thảo luận chi tiết hơn về từng giai đoạn trong quy trình làm việc.
Nhập dữ liệu
HR&A nhận dữ liệu khảo sát dưới dạng tệp CSV rộng với hàng trăm cột trong mỗi tệp và dữ liệu không gian liên quan ở dạng thập lục phân Nhị phân nổi tiếng mở rộng (EWKB) ở dạng tập tin hình dạng. Các tập tin này được lưu trữ trong Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3).
Sản phẩm Lệnh SAO CHÉP dịch chuyển đỏ được sử dụng để nhập dữ liệu không gian từ các tệp hình dạng vào kiểu dữ liệu GEOMETRY gốc được hỗ trợ trong Amazon Redshift. Một sự kết hợp của Quang phổ dịch chuyển đỏ Amazon và lệnh COPY được sử dụng để nhập dữ liệu khảo sát được lưu trữ dưới dạng tệp CSV. Đối với các tệp có cấu trúc không xác định, Keo AWS trình thu thập thông được sử dụng để trích xuất siêu dữ liệu và tạo định nghĩa bảng trong Danh mục dữ liệu. Các định nghĩa bảng này được sử dụng làm kho lưu trữ siêu dữ liệu cho các bảng bên ngoài trong Amazon Redshift.
Đối với các tệp có cấu trúc đã biết, quy trình lưu trữ Redshift được sử dụng, quy trình này lấy vị trí tệp và tên bảng làm tham số rồi chạy lệnh COPY để tải dữ liệu thô vào các bảng Redshift tương ứng.
Chuyển đổi dữ liệu
Nhiều thủ tục được lưu trữ được sử dụng để phân chia dữ liệu bảng thô và tải nó vào các bảng đích tương ứng trong khi áp dụng các phép biến đổi do người dùng xác định.
Các quy tắc chuyển đổi này bao gồm chuyển đổi dữ liệu HÌNH HỌC bằng cách sử dụng gốc Chức năng không gian địa lý dịch chuyển đỏ, Giống như ST_Khu vực và ST_độ dài, và CARTO chức năng không gian nâng cao, có sẵn trong Amazon Redshift như một phần của Hộp công cụ phân tích CARTO dành cho Redshift cài đặt. Hơn nữa, tất cả các bước nhập và chuyển đổi dữ liệu đều được tự động hóa bằng cách sử dụng AWS Lambda để chạy truy vấn Redshift khi bất kỳ tập dữ liệu nào trong Amazon S3 được cập nhật.
Trực quan hóa dữ liệu
Nhóm HR&A đã sử dụng trình kết nối Redshift của CARTO để kết nối với điểm cuối Redshift Serverless và xây dựng các bảng thông tin bằng giao diện SQL và các tiện ích của CARTO để hỗ trợ lập bản đồ trong khi thực hiện các phép tính động của dữ liệu bản đồ theo nhu cầu của khách hàng.
Sau đây là ảnh chụp màn hình mẫu của trang tổng quan hiển thị phản hồi khảo sát theo mã zip. Các quận có màu sáng hơn thể hiện phản hồi khảo sát hạn chế và cần được đưa vào chiến lược thu thập dữ liệu mục tiêu.
Hình ảnh đầu tiên hiển thị trang tổng quan mà không có bất kỳ bộ lọc hoạt động nào. Hình ảnh thứ hai hiển thị bản đồ được lọc và các cuộc trò chuyện của những người trả lời đã tham gia cuộc khảo sát bằng tiếng Tây Ban Nha. Người dùng có thể chọn và chuyển đổi giữa các tính năng bằng cách nhấp vào danh mục tương ứng trong bất kỳ biểu đồ thanh nào.
Kết quả: Một tiêu chuẩn mới để tự động cập nhật bảng thông tin tổng hợp kỹ thuật số
Sau khi phát triển nguyên mẫu bảng thông tin tương tác đầu tiên bằng phương pháp này, năm khách hàng cấp tiểu bang của HR&A (CA, TX, NV, CO và MA) đã thể hiện sự quan tâm đến giải pháp này. HR&A đã có thể triển khai tính năng này cho từng người trong số họ trong vòng 2 tháng—một bước tiến cực kỳ nhanh chóng đối với một bảng thông tin tổng hợp kỹ thuật số tương tác, tùy chỉnh.
HR&A cũng nhận ra rằng thời gian triển khai và quản lý bảng thông tin tổng thể đã giảm 75%. Điều này có nghĩa là nhóm tư vấn có thể chuyển hướng tập trung từ phân tích dữ liệu theo cách thủ công sang giúp khách hàng diễn giải và lập kế hoạch chiến lược cho các kết quả. Cuối cùng, giao diện thân thiện với người dùng của bảng điều khiển đã giúp nhiều bên liên quan dễ tiếp cận dữ liệu khảo sát hơn. Điều này đã giúp xây dựng sự hiểu biết chung khi đánh giá các lỗ hổng trong bối cảnh hòa nhập kỹ thuật số của mỗi tiểu bang và cho phép thực hiện chiến lược thu thập dữ liệu có mục tiêu từ các khu vực có phản hồi khảo sát hạn chế, từ đó hỗ trợ cộng tác tổng thể hiệu quả hơn.
Kết luận
Trong bài đăng này, chúng tôi đã trình bày cách HR&A có thể phân tích dữ liệu không gian địa lý với khối lượng lớn bằng cách sử dụng Amazon Redshift Serverless và CARTO.
Với việc triển khai thành công của HR&A, rõ ràng là Redshift Serverless, với tính linh hoạt và khả năng mở rộng, có thể được sử dụng làm chất xúc tác cho sự thay đổi tích cực trong xã hội. Khi HR&A tiếp tục mở đường cho công bằng kỹ thuật số, câu chuyện của họ là minh chứng cho cách các dịch vụ AWS và đối tác của AWS có thể được sử dụng để giải quyết các thách thức trong thế giới thực.
Chúng tôi khuyến khích bạn khám phá Redshift Serverless với CARTO để phân tích dữ liệu không gian và cho chúng tôi biết trải nghiệm của bạn trong phần nhận xét.
Giới thiệu về tác giả
Harman Singh Dhodi là Nhà phân tích tại HR&A Advisors, Harman kết hợp niềm đam mê phân tích dữ liệu của mình với các hoạt động cơ sở hạ tầng bền vững, hòa nhập xã hội, khả năng tồn tại của nền kinh tế, khả năng phục hồi khí hậu và xây dựng năng lực của các bên liên quan. Công việc của Harman thường tập trung vào việc chuyển các tập dữ liệu phức tạp thành những câu chuyện trực quan và các công cụ có thể truy cập giúp trao quyền cho cộng đồng hiểu những thách thức họ đang gặp phải và tạo ra giải pháp cho một tương lai tươi sáng hơn.
Kiran Kumar Tati là Kiến trúc sư giải pháp chuyên gia phân tích có trụ sở tại Omaha, NE. Anh ấy chuyên xây dựng các giải pháp phân tích toàn diện. Ông có hơn 13 năm kinh nghiệm trong việc thiết kế và triển khai các giải pháp Phân tích và Dữ liệu lớn quy mô lớn. Trong thời gian rảnh rỗi, anh thích chơi cricket và xem thể thao.
Sapna Maheshwari là Kiến trúc sư giải pháp cấp cao tại Amazon Web Services. Cô giúp khách hàng xây dựng các giải pháp phân tích dữ liệu trên quy mô lớn trên AWS. Ngoài công việc, cô thích đi du lịch và thử những món ăn mới.
Washim Nawaz là Kiến trúc sư giải pháp chuyên gia phân tích tại AWS. Ông đã làm việc trong việc xây dựng và điều chỉnh các giải pháp kho dữ liệu và hồ dữ liệu trong hơn 15 năm. Anh ấy đam mê giúp khách hàng hiện đại hóa nền tảng dữ liệu của họ bằng các giải pháp phân tích hiệu quả, hiệu quả và có thể mở rộng. Ngoài công việc, anh thích xem game và đi du lịch.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- : có
- :là
- :Ở đâu
- $ LÊN
- 1
- 120
- 13
- 15 năm
- 15%
- 150
- 29
- 33
- 35%
- a
- Có khả năng
- Giới thiệu
- truy cập
- có thể truy cập
- Đạt được
- ngang qua
- hoạt động
- địa chỉ
- giải quyết
- tiên tiến
- cố vấn
- giá cả phải chăng
- Tất cả
- cho phép
- cho phép
- cho phép
- gần như
- Ngoài ra
- đàn bà gan dạ
- Amazon Web Services
- American
- số lượng
- an
- phân tích
- phân tích
- Phân tích
- Phân tích
- phân tích
- phân tích
- phân tích
- và
- bất kì
- Nộp đơn
- kiến trúc
- LÀ
- khu vực
- xung quanh
- AS
- Đánh giá
- hỗ trợ
- At
- Tự động
- tự động hóa
- tự động
- có sẵn
- AWS
- thanh
- dựa
- BE
- được
- trước
- giữa
- lớn
- Dữ Liệu Lớn.
- sáng hơn
- băng thông rộng
- xây dựng
- Xây dựng
- xây dựng
- kinh doanh
- kinh doanh thông minh
- by
- CA
- CAN
- khả năng
- Sức chứa
- Chất xúc tác
- Phân loại
- thách thức
- thay đổi
- Bảng xếp hạng
- Làm sạch
- khách hàng
- khách hàng
- Khí hậu
- đám mây
- CO
- mã
- hợp tác
- bộ sưu tập
- Colorado
- Cột
- kết hợp
- kết hợp
- Bình luận
- Cộng đồng
- hoàn thành
- phức tạp
- phức tạp
- sáng tác
- máy tính
- khái niệm
- Kết nối
- tư vấn
- tư vấn
- liên tiếp
- Tương ứng
- chi phí-hiệu quả
- có thể
- hạt
- bảo hiểm
- tạo
- tạo ra
- tạo ra
- dế
- khách hàng
- khách hàng
- Cắt
- bảng điều khiển
- trang tổng quan
- dữ liệu
- Phân tích dữ liệu
- Hồ dữ liệu
- trực quan hóa dữ liệu
- kho dữ liệu
- bộ dữ liệu
- các định nghĩa
- cung cấp
- triển khai
- thiết kế
- chi tiết
- chi tiết
- phát triển
- phát triển
- Phát triển
- kỹ thuật số
- thế giới kỹ thuật số
- thảo luận
- phân chia
- do
- dont
- xuống
- suốt trong
- năng động
- mỗi
- dễ dàng
- Kinh tế
- hiệu quả
- hiệu quả
- hiệu quả
- trao quyền
- cho phép
- khuyến khích
- Cuối cùng đến cuối
- Điểm cuối
- đảm bảo
- Môi trường
- sự bình đẳng
- Ether (ETH)
- đánh giá
- BAO GIỜ
- hiển nhiên
- hiện tại
- kinh nghiệm
- khám phá
- thêm
- mở rộng
- ngoài
- trích xuất
- tạo điều kiện
- phải đối mặt với
- Tính năng
- Hình
- Tập tin
- Các tập tin
- điền
- bộ lọc
- Cuối cùng
- phát hiện
- Tên
- năm
- Linh hoạt
- Tập trung
- tập trung
- tiếp theo
- Trong
- hình thức
- từ
- đầy đủ
- chức năng
- chức năng
- chức năng
- Hơn nữa
- tương lai
- Tương lai của công việc
- Trò chơi
- khoảng trống
- hình học
- được
- Các mục tiêu
- rất nhiều
- Có
- he
- giúp đỡ
- đã giúp
- giúp đỡ
- giúp
- tại đây
- của mình
- lịch sử
- Trang Chủ
- House
- hộ gia đình
- Độ đáng tin của
- HTML
- http
- HTTPS
- Hàng trăm
- minh họa
- hình ảnh
- tác động
- thực hiện
- thực hiện
- thực hiện
- in
- bao gồm
- bao gồm
- đưa vào
- lên
- vô cùng
- Cơ sở hạ tầng
- tích hợp
- hội nhập
- Sự thông minh
- tương tác
- tương tác
- quan tâm
- Giao thức
- Internet
- truy cập internet
- trong
- IT
- ITS
- việc làm
- tham gia
- jpg
- Biết
- nổi tiếng
- kumar
- hồ
- cảnh quan
- Ngôn ngữ
- lớn
- để lại
- cho phép
- nhẹ hơn
- Lượt thích
- Hạn chế
- sống
- tải
- địa phương
- tại địa phương
- địa điểm thư viện nào
- thực hiện
- quản lý
- giám đốc
- thủ công
- bản đồ
- lập bản đồ
- có nghĩa là
- đo
- đo lường
- Melanie
- Siêu dữ liệu
- Phương pháp luận
- hàng triệu
- gương
- hiện đại hóa
- Modules
- chi tiết
- hầu hết
- đa lĩnh vực
- nhiều
- thành phố trực thuộc Trung ương
- tên
- tự nhiên
- ne
- sự cần thiết
- Cần
- nhu cầu
- Mới
- NV
- of
- cung cấp
- Office
- thường
- omaha
- on
- ONE
- or
- Tổ chức
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- ra
- bên ngoài
- kết thúc
- tổng thể
- thông số
- một phần
- tham gia
- Đối tác
- niềm đam mê
- đam mê
- mở đường
- mỗi
- biểu diễn
- giai đoạn
- hình ảnh
- Nơi
- kế hoạch
- kế hoạch
- Nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- chơi
- dân số
- tích cực
- Bài đăng
- -
- thực hành
- riêng
- thủ tục
- thủ tục
- quá trình
- sản xuất
- bằng chứng
- bằng chứng về khái niệm
- nguyên mẫu
- cung cấp
- Nhanh chóng
- Mau
- phạm vi
- Nguyên
- dữ liệu thô
- đạt
- sẵn sàng
- thế giới thực
- nhận ra
- nhận
- chuyển hướng
- giảm
- vùng
- liên quan
- kho
- đại diện
- mà
- người trả lời
- phản ứng
- kết quả
- dẫn
- Kết quả
- mạnh mẽ
- quy tắc
- chạy
- chạy
- tương tự
- nói
- khả năng mở rộng
- khả năng mở rộng
- Quy mô
- ảnh chụp màn hình
- Thứ hai
- phần
- an toàn
- Tìm kiếm
- chọn
- Không có máy chủ
- DỊCH VỤ
- định
- Hình dạng
- chia sẻ
- chị ấy
- hiển thị
- cho thấy
- Chương trình
- đáng kể
- Đơn giản
- Mạng xã hội
- Thay đổi xã hội
- Xã hội
- giải pháp
- Giải pháp
- nguồn
- Không gian
- Tiếng Tây Ban Nha
- không gian
- chuyên gia
- chuyên
- riêng
- chia
- Thể thao
- SQL
- các bên liên quan
- các bên liên quan
- Tiêu chuẩn
- đứng
- Tiểu bang
- Bang
- Bước
- Các bước
- Vẫn còn
- là gắn
- hàng
- lưu trữ
- Những câu chuyện
- Câu chuyện
- Chiến lược
- Chiến lược
- cấu trúc
- thành công
- như vậy
- đủ
- Hỗ trợ
- Hỗ trợ
- Khảo sát
- bền vững
- bàn
- phù hợp
- mất
- Mục tiêu
- nhắm mục tiêu
- nhóm
- Kỹ thuật
- di chúc
- hơn
- việc này
- Sản phẩm
- Tương lai
- Tương lai của công việc
- Nhà nước
- cung cấp their dịch
- Them
- Đó
- bằng cách ấy
- Kia là
- họ
- điều này
- những
- Thông qua
- thời gian
- thời gian
- đến
- mất
- công cụ
- Hộp công cụ
- bộ công cụ
- công cụ
- Chuyển đổi
- Chuyển đổi
- biến đổi
- Đi du lịch
- đúng
- cố gắng
- TX
- kiểu
- hiểu
- sự hiểu biết
- không xác định
- cập nhật
- cập nhật
- us
- Hoa Kỳ
- đã sử dụng
- người sử dang
- sử dụng
- sử dụng
- sử dụng
- thay đổi
- rất
- khả năng tồn tại
- ảo
- trực quan
- hình dung
- quan trọng
- khối lượng
- Kho
- là
- xem
- Đường..
- we
- web
- các dịch vụ web
- nổi tiếng
- là
- Điều gì
- khi nào
- cái nào
- trong khi
- CHÚNG TÔI LÀ
- rộng
- rộng hơn
- Wikipedia
- với
- ở trong
- không có
- Công việc
- làm việc
- quy trình làm việc
- thế giới
- năm
- nhưng
- bạn
- trên màn hình
- zephyrnet
- Zip
- thu phóng