점점 더 디지털화되는 세상에서 초고속 광대역에 대한 저렴한 액세스는 우리 사회에 완전히 참여하는 데 필수적이지만 여전히 인터넷에 액세스할 수 없는 미국 가구가 수백만에 달합니다. HR&A 고문—광대역 및 디지털 자산 공간에서 광범위한 작업을 수행하는 다분야 컨설팅 회사는 지역별 디지털 포용 요구 사항을 분석하고 맞춤형 디지털 자산 계획을 구축하여 주, 카운티 및 지방 자치 단체 고객이 저렴한 인터넷 액세스를 제공하도록 돕고 있습니다.
이 프로세스의 첫 번째 단계는 디지털 격차를 매핑하는 것입니다. 집에서 인터넷에 접속할 수 없는 가구는 무엇입니까? 그들은 어디에 살고 있나요? 그들의 구체적인 요구 사항은 무엇입니까?
공공 데이터 소스는 디지털 포용 요구 사항을 실제로 이해하는 데 충분하지 않습니다. 기존 데이터의 공백을 메우기 위해 HR&A는 디지털 자산 계획을 개발하기 전에 보다 완전한 그림을 구축하기 위해 디지털 자산 설문조사를 만듭니다. HR&A가 사용한 Amazon Redshift 서버리스 및 카토 설문 조사 결과를 보다 효율적으로 처리하고 사용자 지정 대화형 대시보드를 만들어 결과를 쉽게 이해할 수 있습니다. HR&A와 협업 아마존 레드 시프트 CARTO를 통해 전체 배포 및 대시보드 관리 시간이 75% 단축되었으며 팀이 다음과 같은 기술적 목표를 달성하는 데 도움이 되었습니다.
- 데이터 웨어하우스에 측량 결과(CSV 파일) 및 기하학 데이터(형상 파일) 로드
- ELT(추출, 변환 및 로드) 작업을 사용하여 지리 공간적 변환을 수행하여 데이터 웨어하우스 내의 측량 결과와 기하학 데이터를 결합함으로써 측량 결과를 지도에 시각화할 수 있습니다.
- 고급 지리 공간 기능, 시각화 및 매핑 대시보드를 위한 비즈니스 인텔리전스(BI) 도구와 통합
- 비용 효율적인 방식으로 다양한 복잡성의 워크로드를 처리하기 위해 데이터 웨어하우스 용량을 늘리거나 줄입니다.
이 게시물에서는 HR&A가 Amazon Redshift 공간 분석 및 CARTO를 사용하여 미국 여러 주에서 디지털 포용 및 인터넷 액세스에 대한 비용 효율적인 지리 공간 측정을 수행하는 방법을 설명합니다.
아키텍처 세부 사항을 알아보기 전에 HR&A와 그 클라이언트인 콜로라도의 Office of the Future of Work가 솔루션에 대해 말하는 내용은 다음과 같습니다.
“Colorado의 Digital Equity Team은 HR&A Advisors 팀과 협력하여 콜로라도 전역에서 역사적으로 소외된 인구를 조사하는 동시에 우리의 범위를 매우 효과적으로 평가할 수 있는 맞춤형 대시보드를 만들었습니다. AWS와 CARTO가 제공하는 이 동적 도구는 어떤 지역과 인구가 설문 조사와 상호 작용하는지에 대한 강력한 시각화를 제공하여 신속하게 확대하고 적용 범위의 격차를 해결할 수 있도록 했습니다. 콜로라도의 디지털 격차로 인해 가장 큰 영향을 받는 사람들로부터 데이터를 찾을 수 있도록 하는 것은 우리 주의 디지털 불평등을 해결하는 데 매우 중요했습니다.”
— Melanie Colletti, Colorado Office of the Future of Work의 디지털 자산 관리자
“AWS를 사용하면 모든 설문 조사 데이터를 한 곳에 안전하게 보관하고 Amazon Redshift에서 신속하게 정리 및 분석할 수 있으며, 데이터가 AWS를 떠나지 않고도 CARTO와 같은 데이터 시각화 도구와의 통합을 통해 결과를 미러링할 수 있습니다. 이를 통해 로컬 컴퓨터 공간이 확보되고 설문 조사 정리 및 분석 단계가 크게 자동화되며 고객이 데이터 결과에 쉽게 액세스할 수 있습니다. 개념 증명과 첫 번째 프로토타입 개발 이후 거의 모든 주 고객이 해당 주에 동일한 솔루션을 사용하는 데 관심을 보였습니다.”
— Harman Singh Dhodi, HR&A Advisors, Inc.의 애널리스트
대규모 설문조사 데이터 세트 저장 및 분석
HR&A는 Redshift Serverless를 사용하여 대량의 디지털 포함 데이터를 한 곳에 저장하고 CARTO의 분석 도구 키트를 사용하여 이를 신속하게 변환 및 분석하여 Amazon Redshift의 공간 기능을 확장하고 CARTO의 데이터 시각화 도구와 통합했습니다. 이 모든 작업은 데이터가 AWS 환경을 떠나지 않고도 이루어졌습니다. . 이로 인해 분석 처리 시간이 크게 단축되었습니다.
XNUMXD덴탈의 Redshift용 CARTO 분석 도구 상자 제공하는 기능을 기반으로 모듈 세트로 구성된 사용자 정의 함수 및 프로시저 세트로 구성됩니다.
다음 그림은 Amazon Redshift에서 Virtual Private Cloud(VPC)를 사용한 개념 증명 중에 개발된 솔루션 및 워크플로 단계를 보여줍니다.
다음 섹션에서는 워크플로의 각 단계에 대해 자세히 설명합니다.
데이터 수집
HR&A는 각 파일에 수백 개의 열이 포함된 넓은 CSV 파일과 XNUMX진수로 된 관련 공간 데이터로 설문조사 데이터를 수신합니다. 확장된 잘 알려진 바이너리(EWKB) 모양 파일 형태로. 이 파일은 다음 위치에 저장됩니다. 아마존 단순 스토리지 서비스 (아마존 S3).
XNUMXD덴탈의 Redshift COPY 명령 모양 파일의 공간 데이터를 Amazon Redshift에서 지원되는 기본 GEOMETRY 데이터 유형으로 수집하는 데 사용됩니다. 다음의 조합 아마존 레드시프트 스펙트럼 및 COPY 명령은 CSV 파일로 저장된 측량 데이터를 수집하는 데 사용됩니다. 구조를 알 수 없는 파일의 경우, AWS 접착제 겉옷 메타데이터를 추출하고 테이블 정의를 생성하는 데 사용됩니다. 데이터 카탈로그. 이러한 테이블 정의는 Amazon Redshift에서 외부 테이블에 대한 메타데이터 저장소로 사용됩니다.
구조가 알려진 파일의 경우 파일 위치와 테이블 이름을 매개변수로 사용하고 COPY 명령을 실행하여 원시 데이터를 해당 Redshift 테이블에 로드하는 Redshift 저장 프로시저가 사용됩니다.
데이터 변환
사용자 정의 변환을 적용하는 동안 원시 테이블 데이터를 분할하고 해당 대상 테이블에 로드하는 데 여러 저장 프로시저가 사용됩니다.
이러한 변환 규칙에는 기본을 사용한 GEOMETRY 데이터 변환이 포함됩니다. Redshift 지리공간 기능, 처럼 ST_Area 및 ST_길이, 그리고 CARTO의 고급 공간 기능, Redshift용 CARTO 분석 도구 상자의 일부로 Amazon Redshift에서 쉽게 사용할 수 있습니다. 설치. 또한 모든 데이터 수집 및 변환 단계는 다음을 사용하여 자동화됩니다. AWS 람다 Amazon S3의 데이터 세트가 업데이트되면 Redshift 쿼리를 실행하는 함수입니다.
데이터 시각화
HR&A 팀은 CARTO의 Redshift 커넥터를 사용하여 Redshift Serverless 엔드포인트에 연결하고 CARTO의 SQL 인터페이스와 위젯을 사용하여 대시보드를 구축하여 클라이언트 요구 사항에 따라 지도 데이터의 동적 계산을 수행하는 동시에 매핑을 지원했습니다.
다음은 우편번호별로 설문조사 응답을 표시하는 대시보드의 샘플 스크린샷입니다. 밝은 색상으로 표시된 카운티는 제한된 설문조사 응답을 나타내며 대상 데이터 수집 전략에 포함되어야 합니다.
첫 번째 이미지는 활성 필터가 없는 대시보드를 보여줍니다. 두 번째 이미지는 스페인어로 설문조사에 참여한 응답자의 필터링된 지도와 채팅을 보여줍니다. 사용자는 막대 차트에서 해당 카테고리를 클릭하여 기능을 선택하고 전환할 수 있습니다.
결과: 디지털 포용 대시보드를 자동으로 업데이트하기 위한 새로운 표준
이 방법론을 사용하여 최초의 대화형 대시보드 프로토타입을 개발한 후 HR&A의 2개 주 고객(CA, TX, NV, CO 및 MA)이 이 솔루션에 관심을 보였습니다. HR&A는 XNUMX개월 이내에 각 부서에 대해 이를 구현할 수 있었습니다. 이는 맞춤형 대화형 디지털 포함 대시보드를 위한 놀라울 정도로 빠른 처리 시간이었습니다.
HR&A는 또한 전체 배포 및 대시보드 관리 시간이 약 75% 단축되었다는 사실을 깨달았습니다. 이는 컨설팅 팀이 데이터를 수동으로 분석하는 것에서 고객이 결과를 해석하고 전략적으로 계획할 수 있도록 돕는 데 초점을 맞출 수 있다는 것을 의미합니다. 마지막으로 대시보드의 사용자 친화적인 인터페이스를 통해 더 광범위한 이해관계자가 설문조사 데이터에 더 쉽게 접근할 수 있게 되었습니다. 이는 각 주의 디지털 포용 환경의 격차를 평가할 때 공유된 이해를 구축하는 데 도움이 되었고, 설문 조사 응답이 제한적인 지역에서 목표 데이터 수집 전략을 허용함으로써 전반적으로 보다 생산적인 협업을 지원했습니다.
결론
이 게시물에서는 HR&A가 Amazon Redshift Serverless 및 CARTO를 사용하여 어떻게 대량의 지리 공간 데이터를 분석할 수 있었는지 보여주었습니다.
HR&A의 성공적인 구현을 통해 유연성과 확장성을 갖춘 Redshift Serverless가 긍정적인 사회 변화를 위한 촉매제로 사용될 수 있다는 것이 분명해졌습니다. HR&A가 계속해서 디지털 형평성을 위한 길을 닦아 가면서 이들의 이야기는 AWS 서비스와 파트너가 실제 문제를 해결하는 데 어떻게 사용될 수 있는지를 보여주는 증거입니다.
공간 데이터 분석을 위해 CARTO를 사용하여 Redshift Serverless를 살펴보고 의견을 통해 귀하의 경험을 알려주시기 바랍니다.
저자 소개
하만 싱 도디 HR&A Advisors의 분석가인 Harman은 데이터 분석에 대한 열정을 지속 가능한 인프라 관행, 사회적 포용, 경제적 생존 가능성, 기후 탄력성 및 이해 관계자 역량 구축과 결합합니다. Harman의 작업은 종종 복잡한 데이터 세트를 시각적 스토리로 변환하고 커뮤니티가 직면한 문제를 이해하고 더 밝은 미래를 위한 솔루션을 만들 수 있도록 지원하는 액세스 가능한 도구로 변환하는 데 중점을 둡니다.
키란 쿠마르 타티 NE 오마하에 본사를 둔 분석 전문가 솔루션 설계자입니다. 그는 엔드투엔드 분석 솔루션 구축을 전문으로 합니다. 그는 대규모 빅 데이터 및 분석 솔루션을 설계하고 구현하는 데 13년 이상의 경험을 갖고 있습니다. 여가 시간에는 크리켓 경기와 스포츠 관람을 즐깁니다.
사프나 마헤슈와리 Amazon Web Services의 수석 솔루션 설계자입니다. 그녀는 고객이 AWS에서 대규모 데이터 분석 솔루션을 설계하도록 돕습니다. 업무 외에는 여행과 새로운 요리 맛보기를 즐깁니다.
와심 나와즈 AWS의 분석 전문가 솔루션 아키텍트입니다. 그는 15년 넘게 데이터 웨어하우스와 데이터 레이크 솔루션을 구축하고 조정하는 일을 해왔습니다. 그는 효율적이고 성능이 뛰어나며 확장 가능한 분석 솔루션을 통해 고객이 데이터 플랫폼을 현대화하도록 돕는 데 열정을 쏟고 있습니다. 업무 외에는 게임 관람과 여행을 즐깁니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- :있다
- :이다
- :어디
- $UP
- 1
- 120
- 13
- 15년
- 15%
- 150
- 29
- 33
- 35%
- a
- 할 수 있는
- 소개
- ACCESS
- 얻기 쉬운
- 달성
- 가로질러
- 활동적인
- 주소
- 주소 지정
- 많은
- 고문
- 저렴한
- All
- 수
- 수
- 수
- 거의
- 또한
- 아마존
- Amazon Web Services
- 미국 사람
- 금액
- an
- 분석
- 분석자
- 분석
- 분석
- 분석
- 분석하다
- 분석하는
- 및
- 어떤
- 적용
- 아키텍처
- 있군요
- 지역
- 약
- AS
- 평가
- 지원
- At
- 자동화
- 오토마타
- 자동적으로
- 가능
- AWS
- 바
- 기반으로
- BE
- 된
- 전에
- 사이에
- 큰
- 빅 데이터
- 밝게
- 광대역
- 빌드
- 건물
- 내장
- 사업
- 비즈니스 인텔리전스
- by
- CA
- CAN
- 기능
- 생산 능력
- 촉매
- 범주
- 과제
- 이전 단계로 돌아가기
- 차트
- 청소관련
- 클라이언트
- 클라이언트
- 기후
- 클라우드
- CO
- 암호
- 협동
- 수집
- 콜로라도
- 열
- 결합
- 결합
- 댓글
- 커뮤니티
- 완전한
- 복잡한
- 복잡성
- 구성
- 컴퓨터
- 개념
- 연결하기
- 컨설팅
- 컨설팅
- 계속
- 동
- 비용 효율적인
- 수
- 군
- 적용 범위
- 만들
- 만든
- 생성
- 크리켓
- 관습
- 고객
- 절단
- 계기반
- 대시 보드
- 데이터
- 데이터 분석
- 데이터 레이크
- 데이터 시각화
- 데이터웨어 하우스
- 데이터 세트
- 정의
- 배달하다
- 전개
- 설계
- 세부 묘사
- 세부설명
- 개발
- 개발
- 개발
- 디지털
- 디지털 세계
- 토론
- 나누다
- do
- 말라
- 아래 (down)
- ...동안
- 동적
- 마다
- 용이하게
- 간결한
- 효과적으로
- 효율적인
- 효율적으로
- 능력을 키우다
- 가능
- 격려
- 끝으로 종료
- 종점
- 보장
- 환경
- 공평
- 에테르 (ETH)
- 평가
- EVER
- 분명한
- 현존하는
- 경험
- 탐험
- 확장
- 광대 한
- 외부
- 추출물
- 용이하게하다
- 마주보고
- 특징
- 그림
- 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에
- 파일
- 채우기
- 필터
- 최종적으로
- 결과
- 먼저,
- 다섯
- 유연성
- 초점
- 집중
- 수행원
- 럭셔리
- 형태
- 에
- 충분히
- 기능
- 기능
- 기능
- 게다가
- 미래
- 일의 미래
- Games
- 틈새
- 기하학
- 얻을
- 목표
- 매우
- 있다
- he
- 도움
- 도움
- 도움이
- 도움이
- 여기에서 지금 확인해 보세요.
- 그의
- 역사적으로
- 홈
- 집
- 가정
- 방법
- HTML
- HTTP
- HTTPS
- 수백
- 일러스트
- 영상
- 영향
- 구현
- 이행
- 구현
- in
- 포함
- 포함
- 포함
- 더욱 더
- 엄청나게
- 인프라
- 통합
- 완성
- 인텔리전스
- 상호 작용
- 대화형
- 관심
- 인터페이스
- 인터넷
- 인터넷 액세스
- 으로
- IT
- 그
- 작업
- 어울리다
- JPG
- 알아
- 알려진
- 쿠마
- 소금물
- 경치
- 언어
- 넓은
- 출발
- 하자
- 거룻배
- 처럼
- 제한된
- 살고있다
- 하중
- 지방의
- 장소 상에서
- 위치
- 만든
- 구축
- 매니저
- 수동으로
- 지도
- 매핑
- 의미
- 측정
- 측량
- 멜라니
- 메타 데이터
- 방법론
- 수백만
- 거울
- 현대화
- 모듈
- 배우기
- 가장
- 다학문
- 여러
- 시
- name
- 출신
- ne
- 필요성
- 필요
- 요구
- 신제품
- NV
- of
- 제공
- Office
- 자주
- 오마하
- on
- ONE
- or
- 최
- 우리의
- 아웃
- 외부
- 위에
- 전체
- 매개 변수
- 부품
- 참여
- 파트너
- 열정
- 열렬한
- 포장길
- 용
- 실행할 수 있는
- 상
- .
- 장소
- 계획
- 계획
- 플랫폼
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 연주
- 인구
- 긍정적인
- 게시하다
- powered
- 사례
- 사설
- 순서
- 절차
- 방법
- 생산적인
- 증명
- 개념 증명
- 프로토 타입
- 제공
- 빠른
- 빨리
- 범위
- 살갗이 벗어 진
- 원시 데이터
- 도달
- 손쉽게
- 현실 세계
- 깨달은
- 수신
- 리디렉션
- 축소
- 지역
- 관련
- 저장소
- 대표
- 그
- 응답자
- 응답
- 결과
- 결과
- 결과
- 강력한
- 규칙
- 달리기
- 실행
- 같은
- 라고
- 확장성
- 확장성
- 규모
- 스크린 샷
- 둘째
- 섹션
- 안전하게
- 찾으라
- 고르다
- 서버리스
- 서비스
- 세트
- 셰이프
- 공유
- 그녀
- 표시
- 보여
- 쇼
- 크게
- 단순, 간단, 편리
- 사회적
- 사회 변화
- 사회
- 해결책
- 솔루션
- 지우면 좋을거같음 . SM
- 스페이스 버튼
- 스페인어
- 공간의
- 전문가
- 전문적으로
- 구체적인
- 분열
- 스포츠
- SQL
- 이해 관계자
- 이해 관계자
- 표준
- 서
- 주 정부
- 미국
- 단계
- 단계
- 아직도
- 저장
- 저장
- 저장
- 이야기
- 이야기
- 전략적으로
- 전략
- 구조
- 성공한
- 이러한
- 충분한
- 지원
- 지원
- 설문조사
- 지속가능한
- 테이블
- 맞춤형
- 소요
- 목표
- 대상
- 팀
- 테크니컬
- 성서
- 보다
- 그
- XNUMXD덴탈의
- 미래
- 작업의 미래
- 국가
- 그들의
- 그들
- 그곳에.
- 그것에 의하여
- Bowman의
- 그들
- 이
- 그
- 을 통하여
- 시간
- 시대
- 에
- 했다
- 수단
- 도구 상자
- 툴킷
- 검색을
- 변환
- 변환
- 변환
- 여행
- 참된
- 노력
- TX
- 유형
- 이해
- 이해
- 알 수없는
- 업데이트
- 업데이트
- us
- 미국 주
- 익숙한
- 사용자
- 사용하기 쉬운
- 사용
- 사용
- 변화
- 대단히
- 생존 능력
- 온라인
- 시각
- 심상
- 필수
- 볼륨
- 창고
- 였다
- 시청
- 방법..
- we
- 웹
- 웹 서비스
- 잘 알려진
- 했다
- 뭐
- 언제
- 어느
- 동안
- 누구
- 넓은
- 넓은
- 위키 백과
- 과
- 이내
- 없이
- 작업
- 일
- 워크플로우
- 세계
- 년
- 아직
- 당신
- 너의
- 제퍼 넷
- 지퍼
- 줌