Sug inn data fra Apache Kafka

Tidsstempel: 23. november 2020, kl
Kilde node: 747576

Dette er en del av Læringsvei: Kom i gang med IBM Streams.

Oppsummering

I dette utviklerkodemønsteret går vi gjennom det grunnleggende om å lage en streamingapplikasjon drevet av Apache Kafka, en av de mest populære open source-distribuerte hendelsesstrømningsplattformene som brukes til å lage sanntids datarørledning og streaming-apper. Applikasjonen blir bygget ved hjelp av IBM Streams på IBM Cloud Pak® for Data.

Beskrivelse

I dette mønsteret går vi gjennom det grunnleggende om å lage en streamingapplikasjon drevet av Apache Kafka. Appen vår blir bygget ved hjelp av IBM Streams på IBM Cloud Pak for Data. IBM Streams tilbyr en innebygd IDE (Streams Flows) som lar deg visuelt lage en streaming-app. IBM Cloud Pak for Data-plattformen gir ekstra støtte, for eksempel integrasjon med flere datakilder, innebygd analyse, Jupyter Notebooks og maskinlæring.

For vår Apache Kafka-tjeneste bruker vi IBM Event Streams på IBM Cloud, som er en høy gjennomstrømningsmeldingsbuss bygget på Kafka-plattformen. I de følgende eksemplene vil vi vise det som både en kilde og et mål for clickstream-data - data som er hentet fra brukerklikk mens de surfer på nettsteder for shopping.

Flow

flow

  1. Bruker oppretter streaming-app i IBM Streams.
  2. Streaming-appen bruker Kafka-tjenesten via IBM Event Streams for å sende / motta meldinger.
  3. Jupyter-notatbok genereres fra IBM Streams-appen.
  4. Bruker utfører streaming-app i Jupyter-notatbok.
  5. Jupyter-notatbok får tilgang til Kafka-tjenesten via IBM Event Streams for å sende / motta meldinger.

Instruksjoner

Klar til å komme i gang? De README forklarer trinnene til:

  1. Klone repoen
  2. Provison Event Streams på IBM Cloud
  3. Lag eksempel Kafka-konsoll Python-app
  4. Legg til IBM Streams-tjenesten i Cloud Pak for Data
  5. Opprett et nytt prosjekt i Cloud Pak for Data
  6. Opprett en strømningsflyt i Cloud Pak for Data
  7. Lag en Streams Flow med Kafka som kilde
  8. Bruk Streams Flow-alternativet for å generere en notatbok
  9. Kjør den genererte Streams Flow-notatblokken

Dette mønsteret er en del av Læringsvei: Kom i gang med IBM Streams. For å fortsette serien og lære mer om IBM Streams, sjekk ut et kodemønster med tittelen Bygg en streaming-app ved hjelp av et Python API.

Kilde: https://developer.ibm.com/patterns/add-event-streams-and-a-db-in-python-to-clickstream/

Tidstempel:

Mer fra IBM-utvikler