Ta in data från Apache Kafka

Källnod: 747576

Detta är en del av Inlärningsväg: Kom igång med IBM Streams.

Sammanfattning

I det här mönstret för utvecklarkod går vi igenom grunderna för att skapa en streamingapplikation som drivs av Apache Kafka, en av de mest populära öppna källkodsdistribuerade händelseströmningsplattformarna som används för att skapa datapipeline och streamingappar i realtid. Applikationen kommer att byggas med IBM Streams på IBM Cloud Pak® för data.

Beskrivning

I det här mönstret går vi igenom grunderna för att skapa en streamingapplikation som drivs av Apache Kafka. Vår app kommer att byggas med hjälp av IBM Streams på IBM Cloud Pak for Data. IBM Streams tillhandahåller en inbyggd IDE (Streams Flows) som låter dig visuellt skapa en streamingapp. IBM Cloud Pak for Data-plattformen ger ytterligare stöd, till exempel integration med flera datakällor, inbyggd analys, Jupyter-anteckningsböcker och maskininlärning.

För vår Apache Kafka-tjänst kommer vi att använda IBM Event Streams på IBM Cloud, som är en meddelandebuss med hög kapacitet byggd på Kafka-plattformen. I följande exempel visar vi den som både en källa och ett mål för clickstream-data - data som fångats från användarklick när de surfar på webbplatser för online shopping.

Flöde

flow

  1. Användaren skapar streamingapp i IBM Streams.
  2. Streaming-appen använder Kafka-tjänsten via IBM Event Streams för att skicka / ta emot meddelanden.
  3. Jupyter-anteckningsboken genereras från IBM Streams-appen.
  4. Användaren kör streaming-appen i Jupyter-anteckningsboken.
  5. Jupyter anteckningsbok får åtkomst till Kafka-tjänsten via IBM Event Streams för att skicka / ta emot meddelanden.

Instruktioner

Redo att komma igång? De README förklarar stegen för att:

  1. Klona repo
  2. Provison Event Streams på IBM Cloud
  3. Skapa exempel på Kafka-konsol Python-app
  4. Lägg till IBM Streams-tjänsten i Cloud Pak for Data
  5. Skapa ett nytt projekt i Cloud Pak for Data
  6. Skapa ett strömningsflöde i Cloud Pak för data
  7. Skapa ett strömningsflöde med Kafka som källa
  8. Använd Streams Flow-alternativet för att skapa en anteckningsbok
  9. Kör den genererade anteckningsboken Streams Flow

Detta mönster är en del av Inlärningsväg: Kom igång med IBM Streams. För att fortsätta serien och lära dig mer om IBM Streams, kolla in ett kodmönster med titeln Bygg en streamingapp med ett Python API.

Källa: https://developer.ibm.com/patterns/add-event-streams-and-a-db-in-python-to-clickstream/

Tidsstämpel:

Mer från IBM-utvecklare