Apache Kafka에서 데이터 수집

소스 노드 : 747576

이것은 학습 경로 : IBM Streams 시작하기.

요약

이 개발자 코드 패턴에서는 실시간 데이터 파이프 라인 및 스트리밍 앱을 만드는 데 사용되는 가장 인기있는 오픈 소스 분산 이벤트 스트리밍 플랫폼 중 하나 인 Apache Kafka로 구동되는 스트리밍 애플리케이션을 만드는 기본 사항을 안내합니다. 애플리케이션은 IBM Cloud Pak® for Data에서 IBM Streams를 사용하여 빌드됩니다.

상품 설명

이 패턴에서는 Apache Kafka로 구동되는 스트리밍 애플리케이션을 만드는 기본 사항을 안내합니다. 우리의 앱은 IBM Cloud Pak for Data에서 IBM Streams를 사용하여 빌드됩니다. IBM Streams는 스트리밍 앱을 시각적으로 만들 수있는 내장 IDE (Streams Flows)를 제공합니다. IBM Cloud Pak for Data 플랫폼은 여러 데이터 소스, 기본 제공 분석, Jupyter 노트북 및 기계 학습과의 통합과 같은 추가 지원을 제공합니다.

Apache Kafka 서비스의 경우 Kafka 플랫폼에 구축 된 고 처리량 메시지 버스 인 IBM Cloud에서 IBM Event Streams를 사용할 것입니다. 다음 예에서는이를 클릭 스트림 데이터의 소스이자 대상으로 보여줄 것입니다. 사용자가 온라인 쇼핑 웹 사이트를 탐색 할 때 클릭 한 데이터입니다.

흐름

flow

  1. 사용자가 IBM Streams에서 스트리밍 앱을 생성합니다.
  2. 스트리밍 앱은 IBM Event Streams를 통해 Kafka 서비스를 사용하여 메시지를 보내고받습니다.
  3. Jupyter 노트북은 IBM Streams 앱에서 생성됩니다.
  4. 사용자가 Jupyter 노트북에서 스트리밍 앱을 실행합니다.
  5. Jupyter 노트북은 IBM Event Streams를 통해 Kafka 서비스에 액세스하여 메시지를 보내고받습니다.

명령

시작할 준비가 되셨습니까? 그만큼 README 다음 단계를 설명합니다.

  1. 레포 복제
  2. IBM Cloud의 Provison Event Streams
  3. 샘플 Kafka 콘솔 Python 앱 만들기
  4. Cloud Pak for Data에 IBM Streams 서비스 추가
  5. Cloud Pak for Data에서 새 프로젝트 만들기
  6. Cloud Pak에서 데이터 용 Streams 흐름 생성
  7. Kafka를 소스로 사용하여 Streams 흐름 생성
  8. Streams Flow 옵션을 사용하여 노트북 생성
  9. 생성 된 Streams Flow 노트북 실행

이 패턴은 학습 경로 : IBM Streams 시작하기. 시리즈를 계속하고 IBM Streams에 대해 자세히 알아 보려면 제목의 코드 패턴을 확인하십시오. Python API를 사용하여 스트리밍 앱 빌드.

출처 : https://developer.ibm.com/patterns/add-event-streams-and-a-db-in-python-to-clickstream/

타임 스탬프 :

더보기 IBM 개발자