오늘날의 데이터 중심 세계에서는 다양한 플랫폼에 걸쳐 데이터를 손쉽게 이동하고 분석하는 능력이 필수적입니다. 아마존 AppFlow완전 관리형 데이터 통합 서비스인 는 AWS 서비스, SaaS(Software as a Service) 애플리케이션, 현재는 Google BigQuery 간의 데이터 전송을 간소화하는 데 앞장서 왔습니다. 이 블로그 게시물에서는 새로운 기능을 탐색합니다. Google BigQuery 커넥터 Amazon AppFlow에서 Google의 데이터 웨어하우스에서 Google의 데이터 웨어하우스로 데이터를 전송하는 프로세스를 단순화하는 방법을 알아보세요. Amazon Simple Storage Service(Amazon S3), 멀티 클라우드 데이터 액세스의 민주화를 포함하여 데이터 전문가와 조직에 상당한 이점을 제공합니다.
Amazon AppFlow 개요
아마존 AppFlow Google BigQuery, Salesforce, SAP, Hubspot, ServiceNow 등의 SaaS 애플리케이션과 Amazon S3, 아마존 레드 시프트, 단 몇 번의 클릭만으로 가능합니다. Amazon AppFlow를 사용하면 일정에 따라, 비즈니스 이벤트에 대한 응답으로 또는 요청에 따라 선택한 빈도로 거의 모든 규모의 데이터 흐름을 실행할 수 있습니다. 추가 단계 없이 흐름 자체의 일부로 즉시 사용 가능한 풍부하고 풍부한 데이터를 생성하도록 필터링 및 검증과 같은 데이터 변환 기능을 구성할 수 있습니다. Amazon AppFlow는 이동 중인 데이터를 자동으로 암호화하고, Amazon AppFlow와 통합된 SaaS 애플리케이션에 대해 공용 인터넷을 통해 데이터가 흐르는 것을 제한할 수 있습니다. AWS 프라이빗링크, 보안 위협에 대한 노출을 줄입니다.
Google BigQuery 커넥터 소개
새로운 Google BigQuery 커넥터 Amazon AppFlow는 Google 데이터 웨어하우스의 분석 기능을 사용하고 BigQuery의 데이터를 손쉽게 통합, 분석, 저장 또는 추가 처리하여 실행 가능한 통찰력으로 변환하려는 조직에 가능성을 보여줍니다.
아키텍처
Amazon AppFlow를 사용하여 Google BigQuery에서 Amazon S3로 데이터를 전송하는 아키텍처를 검토해 보겠습니다.
- 데이터 소스 선택: 아마존 AppFlow에서 Google BigQuery를 데이터 소스로 선택하세요. 데이터를 추출하려는 테이블이나 데이터세트를 지정합니다.
- 필드 매핑 및 변환: Amazon AppFlow의 직관적인 시각적 인터페이스를 사용하여 데이터 전송을 구성합니다. 데이터 필드를 매핑하고 필요에 따라 변환을 적용하여 데이터를 요구 사항에 맞출 수 있습니다.
- 전송 빈도: 매일, 매주, 매월 등 데이터를 얼마나 자주 전송할지 결정하여 유연성과 자동화를 지원합니다.
- 대상: S3 버킷을 데이터 대상으로 지정합니다. Amazon AppFlow는 데이터를 효율적으로 이동하여 Amazon S3 스토리지에서 액세스할 수 있도록 합니다.
- 소비: 사용 아마존 아테나 Amazon S3의 데이터를 분석합니다.
사전 조건
이 솔루션에 사용된 데이터 세트는 다음에 의해 생성됩니다. 신시아, 합성 환자 모집단 시뮬레이터 및 오픈 소스 프로젝트 Apache 라이선스 2.0. 이 데이터를 Google BigQuery에 로드하거나 기존 데이터세트를 사용하세요.
Amazon AppFlow를 Google BigQuery 계정에 연결
이 게시물에서는 Google 계정, 적절한 권한이 있는 OAuth 클라이언트, Google BigQuery 데이터를 사용합니다. Amazon AppFlow에서 Google BigQuery 액세스를 활성화하려면 미리 새 OAuth 클라이언트를 설정해야 합니다. 지침은 다음을 참조하세요. Amazon AppFlow용 Google BigQuery 커넥터.
Amazon S3 설정
Amazon S3의 모든 객체는 버킷에 저장됩니다. Amazon S3에 데이터를 저장하려면 먼저 다음을 수행해야 합니다. S3 버킷 생성 결과를 저장합니다.
Amazon AppFlow 결과를 위한 새 S3 버킷 생성
S3 버킷을 생성하려면 다음 단계를 완료하십시오.
- AWS Management Console에서 아마존 S3선택한다. 버킷 만들기.
- 전역적으로 고유한 이름을 입력하세요. 버킷 이름; 예를 들어
appflow-bq-sample
. - 왼쪽 메뉴에서 버킷을 만듭니다.
Amazon Athena 결과를 위한 새 S3 버킷 생성
S3 버킷을 생성하려면 다음 단계를 완료하십시오.
- AWS Management Console에서 아마존 S3선택한다. 버킷 만들기.
- 전역적으로 고유한 이름을 입력하세요. 버킷 이름; 예를 들어
athena-results
. - 왼쪽 메뉴에서 버킷을 만듭니다.
AWS Glue 데이터 카탈로그에 대한 사용자 역할(IAM 역할)
흐름과 함께 전송하는 데이터를 카탈로그화하려면 다음에 적절한 사용자 역할이 있어야 합니다. AWS 자격 증명 및 액세스 관리 (IAM). Amazon AppFlow에 이 역할을 제공하여 생성에 필요한 권한을 부여합니다. AWS Glue 데이터 카탈로그, 테이블, 데이터베이스 및 파티션.
필요한 권한이 있는 IAM 정책의 예는 다음을 참조하세요. Amazon AppFlow에 대한 자격 증명 기반 정책 예입니다.
디자인 연습
이제 실제 사용 사례를 통해 Amazon AppFlow Google BigQuery-Amazon S3 커넥터가 어떻게 작동하는지 살펴보겠습니다. 사용 사례에서는 장기 저장 분석을 위해 Amazon AppFlow를 사용하여 Google BigQuery의 기록 데이터를 Amazon S3에 보관합니다.
Amazon AppFlow 설정
Google Analytics에서 Amazon S3로 데이터를 전송하는 새로운 Amazon AppFlow 흐름을 생성합니다.
- 에 Amazon AppFlow 콘솔선택한다. 흐름 만들기.
- 흐름 이름을 입력합니다. 예를 들어,
my-bq-flow
. - 필요한 추가 태그; 예를 들어 키 입력
env
~을 위해 가치관 입력dev
.
- 왼쪽 메뉴에서 다음 보기.
- 럭셔리 소스 이름선택한다. 구글 빅쿼리.
- 왼쪽 메뉴에서 새 연결 만들기.
- OAuth를 입력하세요 고객 ID 및 고객 비밀을 클릭한 다음 연결 이름을 지정하세요. 예를 들어,
bq-connection
.
- 팝업 창에서 amazon.com이 Google BigQuery API에 액세스하도록 허용하도록 선택합니다.
- 럭셔리 Google BigQuery 객체 선택선택한다. 작업대.
- 럭셔리 Google BigQuery 하위 객체 선택선택한다. BigQuery 프로젝트 이름.
- 럭셔리 Google BigQuery 하위 객체 선택선택한다. 데이터베이스 이름.
- 럭셔리 Google BigQuery 하위 객체 선택선택한다. 테이블 이름.
- 럭셔리 목적지 이름선택한다. 아마존 S3.
- 럭셔리 버킷 세부정보, 전제 조건에서 Amazon AppFlow 결과를 저장하기 위해 생성한 Amazon S3 버킷을 선택합니다.
- 엔터 버튼
raw
등 접두사.
- 다음으로 제공 AWS Glue 데이터 카탈로그 추가 분석을 위한 테이블을 생성하기 위한 설정입니다.
- 선택 사용자 역할 (IAM 역할)이 기본 요건에 생성되었습니다.
- 새로 만들기 데이터베이스 예를 들어,
healthcare
. - 을 제공 테이블 접두사 예를 들어 설정
bq
.
- 선택 주문형 실행.
- 왼쪽 메뉴에서 다음.
- 선택 수동으로 필드 매핑.
- 다음 XNUMX개 필드를 선택하세요. 소스 필드 이름 테이블에서 알레르기:
- 스타트
- 환자
- 암호
- 상품 설명
- 타입
- 범주
- 왼쪽 메뉴에서 필드를 직접 매핑.
- 왼쪽 메뉴에서 다음 보기.
- In 필터 추가 섹션 선택 다음 보기.
- 왼쪽 메뉴에서 흐름 만들기.
흐름 실행
새 흐름을 만든 후 요청 시 실행할 수 있습니다.
- 에 Amazon AppFlow 콘솔선택한다.
my-bq-flow
. - 왼쪽 메뉴에서 흐름 실행.
이 연습에서는 이해하기 쉽도록 주문형 작업 실행을 선택합니다. 실제로는 예약된 작업을 선택하고 새로 추가된 데이터만 주기적으로 추출할 수 있습니다.
Amazon Athena를 통한 쿼리
선택 사항인 AWS Glue 데이터 카탈로그 설정을 선택하면 데이터 카탈로그가 데이터에 대한 카탈로그를 생성하여 Amazon Athena가 쿼리를 수행할 수 있도록 합니다.
쿼리 결과 위치를 구성하라는 메시지가 표시되면 설정 탭하고 선택 관리. 아래에 설정 관리, 사전 요구 사항에서 생성된 Athena 결과 버킷을 선택하고 찜하기.
- 에 Amazon Athena 콘솔, 데이터 소스를 다음과 같이 선택합니다.
AWSDataCatalog
. - 다음으로 데이터베이스 as
healthcare
. - 이제 AWS Glue 크롤러가 생성한 테이블을 선택하고 미리 볼 수 있습니다.
- 다음 쿼리에 표시된 대로 사용자 지정 쿼리를 실행하여 상위 10개 알레르기를 찾을 수도 있습니다.
주의 사항: 아래 쿼리에서 테이블 이름을 바꾸십시오. 이 경우 bq_appflow_mybqflow_1693588670_latest
, AWS 계정에서 생성된 테이블 이름을 사용합니다.
- 왼쪽 메뉴에서 쿼리 실행.
이 결과는 사례 수 기준으로 상위 10개의 알레르기를 보여줍니다.
정리
요금이 발생하지 않도록 하려면 다음 단계를 완료하여 AWS 계정의 리소스를 정리하십시오.
- Amazon AppFlow 콘솔에서 흐름 탐색 창에서
- 흐름 목록에서 흐름을 선택합니다.
my-bq-flow
, 삭제합니다. - 흐름을 삭제하려면 delete를 입력합니다.
- 왼쪽 메뉴에서 연결 탐색 창에서
- 왼쪽 메뉴에서 구글 빅쿼리 커넥터 목록에서 선택
bq-connector
, 삭제합니다. - 커넥터를 삭제하려면 delete를 입력합니다.
- IAM 콘솔에서 역할 탐색 페이지에서 AWS Glue 크롤러용으로 생성한 역할을 선택하고 삭제합니다.
- Amazon Athena 콘솔에서:
- 데이터베이스 아래에 생성된 테이블 삭제
healthcare
AWS Glue 크롤러를 사용합니다. - 데이터베이스 삭제
healthcare
- 데이터베이스 아래에 생성된 테이블 삭제
- Amazon S3 콘솔에서 생성한 Amazon AppFlow 결과 버킷을 검색하고 빈 개체를 삭제한 다음 버킷을 삭제합니다.
- Amazon S3 콘솔에서 생성한 Amazon Athena 결과 버킷을 검색하고 빈 개체를 삭제한 다음 버킷을 삭제합니다.
- Google BigQuery 리소스가 포함된 프로젝트를 삭제하여 Google 계정의 리소스를 정리하세요. 설명서에 따라 Google 리소스 정리.
결론
Amazon AppFlow의 Google BigQuery 커넥터는 Google 데이터 웨어하우스에서 Amazon S3로 데이터를 전송하는 프로세스를 간소화합니다. 이러한 통합은 분석과 기계 학습, 보관 및 장기 저장을 단순화하여 두 플랫폼의 분석 기능을 활용하려는 데이터 전문가와 조직에 상당한 이점을 제공합니다.
Amazon AppFlow를 사용하면 데이터 통합의 복잡성이 제거되므로 데이터에서 실행 가능한 통찰력을 얻는 데 집중할 수 있습니다. 과거 데이터를 보관하든, 복잡한 분석을 수행하든, 기계 학습용 데이터를 준비하든 이 커넥터는 프로세스를 단순화하여 더 광범위한 데이터 전문가가 액세스할 수 있도록 해줍니다.
Amazon AppFlow를 사용하여 Google BigQuery에서 Amazon S3로 데이터를 전송하는 방법에 관심이 있다면 단계별 설명을 살펴보세요. 동영상 자습서. 이 튜토리얼에서는 연결 설정부터 데이터 전송 흐름 실행까지 전체 프로세스를 안내합니다. Amazon AppFlow에 대한 자세한 내용을 보려면 다음을 방문하세요. 아마존 AppFlow.
저자 소개
카르티케이 카토르 Amazon Web Services의 글로벌 생명 과학 솔루션 설계자입니다. 그는 AWS 분석 서비스에 중점을 두고 고객의 클라우드 여정을 돕는 데 열정을 쏟고 있습니다. 그는 열렬한 달리기 선수이며 하이킹을 즐깁니다.
가면 샤를란지예프 수석 빅 데이터 및 ETL 솔루션 설계자이자 Amazon AppFlow 전문가입니다. 그는 복잡한 데이터 통합 문제에 직면한 고객의 삶을 더 편리하게 만드는 사명을 갖고 있습니다. 그의 비밀무기는? 최소한의 노력과 코딩 없이 작업을 완료할 수 있는 완전 관리형 로우 코드 AWS 서비스입니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/big-data/simplify-data-transfer-google-bigquery-to-amazon-s3-using-amazon-appflow/
- :있다
- :이다
- $UP
- 10
- 100
- 14
- 16
- 17
- 22
- 321
- 8
- 9
- a
- 능력
- 소개
- ACCESS
- 액세스 관리
- 얻기 쉬운
- 계정
- 가로질러
- 더하다
- 추가
- 추가
- 전진
- 일직선으로하다
- 알레르기
- 수
- 허용
- 수
- 또한
- 아마존
- 아마존 아테나
- Amazon Web Services
- Amazon.com
- an
- 분석
- 분석
- 분석
- 분석하다
- 및
- 어떤
- API를
- 어플리케이션
- 신청
- 적당한
- 아키텍처
- 아카이브
- 있군요
- AS
- At
- 자동적으로
- 자동화
- 피하기
- AWS
- AWS 접착제
- AWS 관리 콘솔
- 된
- 전에
- 이하
- 혜택
- 사이에
- 큰
- 빅 데이터
- 큰 쿼리
- 블로그
- 두
- 더 넓은
- 사업
- by
- CAN
- 얻을 수 있습니다
- 기능
- 능력
- 케이스
- 가지 경우
- 목록
- 범주
- 과제
- 요금
- 왼쪽 메뉴에서
- 클라이언트
- 클라우드
- 코딩
- COM
- 완전한
- 완료
- 복잡한
- 복잡성
- 연결
- 콘솔에서
- 이 포함되어 있습니다
- 러
- 만들
- 만든
- 생성
- 만들기
- 관습
- 고객
- 매일
- 데이터
- 데이터 액세스
- 데이터 통합
- 데이터웨어 하우스
- 데이터 중심
- 데이터베이스
- 데이터베이스
- 데이터 세트
- 결정하다
- 수요
- 민주화
- 설명
- 목적지
- 발견
- 몇몇의
- 선적 서류 비치
- 한
- 완화
- 쉽게
- 효율적으로
- 노력
- 자연스럽게
- 제거 된
- 가능
- 가능
- 전체의
- 필수
- 에테르 (ETH)
- 이벤트
- 예
- 예
- 현존하는
- 전문가
- 탐험
- 노출 시간
- 추출물
- 마주보고
- 를
- 들
- Fields
- 필터링
- Find
- 유연성
- 흐름
- 흐르는
- 흐름
- 초점
- 따라
- 수행원
- 럭셔리
- 중심
- 진동수
- 자주
- 에
- 충분히
- 추가
- 생성
- 생성
- 얻을
- 글로벌
- 세계적으로
- 구글
- Google Analytics
- Google의
- 부여
- 그룹
- 마구
- 있다
- he
- 건강 관리
- 도움이
- 하이킹
- 그의
- 역사적인
- 방법
- HTML
- HTTP
- HTTPS
- HubSpot
- IAM
- 통합 인증
- 신원 및 액세스 관리
- in
- 포함
- 정보
- 통찰력
- 명령
- 통합
- 통합 된
- 완성
- 관심있는
- 인터페이스
- 인터넷
- 으로
- 직관적인
- IT
- 그 자체
- 일
- 여행
- 다만
- 배우기
- 특허
- 생활
- 생명 과학
- 제한
- 명부
- 하중
- 위치
- 장기
- 보기
- 기계
- 기계 학습
- 확인
- 유튜브 영상을 만드는 것은
- 관리
- 구축
- 지도
- 매핑
- 최소의
- Mission
- 배우기
- 운동
- 움직임
- 절대로 필요한 것
- name
- 이동
- 카테고리
- 거의
- 필요한
- 필요
- 요구
- 신제품
- 새로운
- 아니
- 지금
- 번호
- 맹세
- 대상
- 사물
- of
- on
- 온디맨드
- 만
- 오픈 소스
- or
- 주문
- 조직
- 위에
- 페이지
- 빵
- 부품
- 열렬한
- 환자
- 수행
- 실행할 수 있는
- 권한
- 플랫폼
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 정책
- 팝업
- 인구
- 가능성
- 게시하다
- 실용적인
- 연습
- 준비
- 전제 조건
- 시사
- 방법
- 전문가
- 프로젝트
- 제공
- 제공
- 공개
- 쿼리
- 범위
- 감소
- 교체
- 필수
- 요구조건 니즈
- 제품 자료
- 응답
- 얽매다
- 결과
- 결과
- 리뷰
- 풍부한
- 직위별
- 달리기
- 러너
- 달리는
- SaaS는
- 영업
- 수액
- 규모
- 예정
- 예약
- 과학
- 검색
- 비밀
- 섹션
- 안전하게
- 보안
- 보안 위협
- 참조
- 모색
- 서비스
- ServiceNow
- 서비스
- 세트
- 설정
- 설정
- 표시
- 쇼
- 상당한
- 단순, 간단, 편리
- 단순화
- 시뮬레이터
- SIX
- 소프트웨어
- 서비스로서의 소프트웨어
- 해결책
- 솔루션
- 출처
- 단계
- 저장
- 저장
- 저장
- 능률화
- 이러한
- 인조
- 테이블
- 받아
- 그
- XNUMXD덴탈의
- 그들의
- 그때
- 이
- 위협
- 을 통하여
- 에
- 오늘의
- 상단
- 최고 10
- 이전
- 전송
- 변환
- 변환
- 변화
- 지도 시간
- 유형
- 아래에
- 이해
- 유일한
- 발표
- 사용
- 유스 케이스
- 익숙한
- 사용자
- 사용
- 확인
- 가치
- 방문
- 걷다
- 연습
- 필요
- 창고
- we
- 웹
- 웹 서비스
- 주간
- 여부
- 누구
- 의지
- 창
- 과
- 없이
- 일
- 세계
- 당신
- 너의
- 유튜브
- 제퍼 넷