Indtag data fra Apache Kafka

Tidsstempel: 23. november 2020 kl. 12
Kildeknude: 747576

Dette er en del af Læringsvej: Kom godt i gang med IBM Streams.

Resumé

I dette udviklerkodemønster guider vi dig gennem det grundlæggende i at skabe en streamingapplikation drevet af Apache Kafka, en af ​​de mest populære open source distribuerede hændelsesstreamingplatforme, der bruges til at skabe realtidsdatapipeline og streamingapps. Applikationen vil blive bygget ved hjælp af IBM Streams på IBM Cloud Pak® for Data.

Beskrivelse

I dette mønster leder vi dig gennem det grundlæggende i at skabe en streamingapplikation drevet af Apache Kafka. Vores app vil blive bygget ved hjælp af IBM Streams på IBM Cloud Pak for Data. IBM Streams har en indbygget IDE (Streams Flows), der giver dig mulighed for visuelt at oprette en streaming-app. IBM Cloud Pak for Data-platformen giver yderligere support, såsom integration med flere datakilder, indbygget analyse, Jupyter Notebooks og maskinlæring.

Til vores Apache Kafka-tjeneste vil vi bruge IBM Event Streams på IBM Cloud, som er en high-throughput beskedbus bygget på Kafka-platformen. I de følgende eksempler vil vi vise det som både en kilde og et mål for klikstrømsdata - data, der er indsamlet fra brugerklik, mens de gennemser online shopping-websteder.

Flow

flow

  1. Brugeren opretter streaming-app i IBM Streams.
  2. Streaming-appen bruger Kafka-tjenesten via IBM Event Streams til at sende/modtage beskeder.
  3. Jupyter notebook er genereret fra IBM Streams app.
  4. Brugeren udfører streaming app i Jupyter notesbog.
  5. Jupyter notebook får adgang til Kafka-tjenesten via IBM Event Streams for at sende/modtage beskeder.

Instruktioner

Klar til at komme i gang? Det README forklarer trinene til:

  1. Klon repoen
  2. Provison Event Streams på IBM Cloud
  3. Opret prøve Kafka konsol Python app
  4. Føj IBM Streams-tjenesten til Cloud Pak for Data
  5. Opret et nyt projekt i Cloud Pak for Data
  6. Opret et streamsflow i Cloud Pak til data
  7. Opret et Streams Flow med Kafka som kilde
  8. Brug muligheden Streams Flow til at generere en notesbog
  9. Kør den genererede Streams Flow-notesbog

Dette mønster er en del af Læringsvej: Kom godt i gang med IBM Streams. For at fortsætte serien og lære mere om IBM Streams, tjek et kodemønster med titlen Byg en streaming-app ved hjælp af en Python API.

Kilde: https://developer.ibm.com/patterns/add-event-streams-and-a-db-in-python-to-clickstream/

Tidsstempel:

Mere fra IBM-udvikler