Acquisisci dati da Apache Kafka

Questo fa parte del Percorso di apprendimento: inizia con IBM Streams.

Sommario

In questo modello di codice per sviluppatori, ti guidiamo attraverso le basi della creazione di un'applicazione di streaming basata su Apache Kafka, una delle piattaforme di streaming di eventi distribuite open source più popolari utilizzate per la creazione di pipeline di dati in tempo reale e app di streaming. L'applicazione verrà creata utilizzando IBM Streams su IBM Cloud Pak® for Data.

Descrizione

In questo schema, ti guideremo attraverso le basi della creazione di un'applicazione di streaming basata su Apache Kafka. La nostra app verrà creata utilizzando IBM Streams su IBM Cloud Pak for Data. IBM Streams fornisce un IDE integrato (Streams Flows) che consente di creare visivamente un'app di streaming. La piattaforma IBM Cloud Pak for Data fornisce supporto aggiuntivo, come l'integrazione con più origini dati, analisi integrate, Jupyter Notebook e machine learning.

Per il nostro servizio Apache Kafka, utilizzeremo IBM Event Streams su IBM Cloud, che è un bus di messaggi ad alta velocità costruito sulla piattaforma Kafka. Nei seguenti esempi, lo mostreremo sia come fonte che come destinazione di dati del flusso di clic, dati acquisiti dai clic degli utenti mentre navigavano nei siti Web di shopping online.

Flow

1. L'utente crea un'app di streaming in IBM Streams.
2. L'app di streaming utilizza il servizio Kafka tramite IBM Event Streams per inviare/ricevere messaggi.
3. Il notebook Jupyter è generato dall'app IBM Streams.
4. L'utente esegue l'app di streaming nel notebook Jupyter.
5. Il notebook Jupyter accede al servizio Kafka tramite IBM Event Streams per inviare/ricevere messaggi.

Istruzioni

Pronto per iniziare? Il README spiega i passaggi per:

1. Clona il repo
2. Fornisci flussi di eventi su IBM Cloud
3. Crea un'app Python di esempio per la console Kafka
4. Aggiungi il servizio IBM Streams a Cloud Pak for Data
5. Crea un nuovo progetto in Cloud Pak for Data
6. Crea un flusso di flussi in Cloud Pak per i dati
7. Crea un flusso di flussi con Kafka come sorgente
8. Usa l'opzione Flusso di flussi per generare un notebook
9. Esegui il notebook Flusso di flussi generato

Questo modello fa parte del Percorso di apprendimento: inizia con IBM Streams. Per continuare la serie e saperne di più su IBM Streams, dai un'occhiata a un modello di codice intitolato Crea un'app di streaming utilizzando un'API Python.

Fonte: https://developer.ibm.com/patterns/add-event-streams-and-a-db-in-python-to-clickstream/