ApacheKafkaからデータを取り込む

ソースノード: 747576

これは、 学習パス:IBMStreamsを使い始める.

まとめ

この開発者コードパターンでは、リアルタイムデータパイプラインとストリーミングアプリの作成に使用される最も人気のあるオープンソースの分散イベントストリーミングプラットフォームのXNUMXつであるApacheKafkaを利用したスト​​リーミングアプリケーションの作成の基本について説明します。 アプリケーションは、IBMCloudPak®forData上のIBMStreamsを使用して構築されます。

説明

このパターンでは、ApacheKafkaを利用したスト​​リーミングアプリケーションの作成の基本について説明します。 私たちのアプリは、IBM Cloud Pak forDataでIBMStreamsを使用して構築されます。 IBM Streamsは、ストリーミングアプリを視覚的に作成できる組み込みIDE(Streams Flows)を提供します。 IBM Cloud Pak for Dataプラットフォームは、複数のデータソースとの統合、組み込みの分析、Jupyter Notebook、機械学習などの追加サポートを提供します。

Apache Kafkaサービスでは、IBMCloud上のIBMEvent Streamsを使用します。これは、Kafkaプラットフォーム上に構築された高スループットのメッセージバスです。 次の例では、クリックストリームデータのソースとターゲットの両方として表示します。これは、ユーザーがオンラインショッピングWebサイトを閲覧したときにクリックしたデータです。

Flow

flow

  1. ユーザーはIBMStreamsでストリーミングアプリを作成します。
  2. ストリーミングアプリは、IBM EventStreamsを介してKafkaサービスを使用してメッセージを送受信します。
  3. JupyterノートブックはIBMStreamsアプリから生成されます。
  4. ユーザーがJupyterノートブックでストリーミングアプリを実行します。
  5. Jupyter Notebookは、IBM Event Streamsを介してKafkaサービスにアクセスし、メッセージを送受信します。

説明書

始める準備はできましたか? ザ・ README 次の手順について説明します。

  1. レポのクローンを作成する
  2. IBMCloud上のProvisonイベント・ストリーム
  3. サンプルのKafkaコンソールPythonアプリを作成する
  4. IBMStreamsサービスをCloudPak forDataに追加します
  5. Cloud Pak forDataで新しいプロジェクトを作成します
  6. CloudPakでデータ用のストリームフローを作成する
  7. Kafkaをソースとしてストリームフローを作成する
  8. StreamsFlowオプションを使用してノートブックを生成します
  9. 生成されたStreamsFlowノートブックを実行します

このパターンはの一部です 学習パス:IBMStreamsを使い始める。 シリーズを継続し、IBM Streamsの詳細を学ぶには、というタイトルのコードパターンを確認してください。 PythonAPIを使用してストリーミングアプリを構築する.

ソース:https://developer.ibm.com/patterns/add-event-streams-and-a-db-in-python-to-clickstream/

タイムスタンプ:

より多くの IBM 開発者