Gegevens opnemen uit Apache Kafka

Bronknooppunt: 747576

Dit is onderdeel van de Leerpad: aan de slag met IBM Streams.

Samengevat

In dit ontwikkelaarscodepatroon laten we je zien hoe je een streamingapplicatie maakt die mogelijk wordt gemaakt door Apache Kafka, een van de meest populaire open source gedistribueerde platformen voor het streamen van evenementen die worden gebruikt voor het maken van real-time datapijplijnen en streaming-apps. De applicatie wordt gebouwd met IBM Streams op IBM Cloud Pak® for Data.

Omschrijving

In dit patroon leiden we u door de basisprincipes van het maken van een streamingtoepassing aangedreven door Apache Kafka. Onze app wordt gebouwd met behulp van IBM Streams op IBM Cloud Pak for Data. IBM Streams biedt een ingebouwde IDE (Streams Flows) waarmee u visueel een streaming-app kunt maken. Het IBM Cloud Pak for Data-platform biedt aanvullende ondersteuning, zoals integratie met meerdere databronnen, ingebouwde analytics, Jupyter Notebooks en machine learning.

Voor onze Apache Kafka-service gebruiken we IBM Event Streams op IBM Cloud, een berichtenbus met hoge doorvoer die is gebouwd op het Kafka-platform. In de volgende voorbeelden zullen we het laten zien als zowel een bron als een doelwit van clickstream-gegevens - gegevens die zijn vastgelegd op basis van klikken van gebruikers terwijl ze door websites voor online winkelen bladerden.

Stroom

flow

  1. De gebruiker maakt een streaming-app in IBM Streams.
  2. De streaming-app maakt gebruik van de Kafka-service via IBM Event Streams om berichten te verzenden / ontvangen.
  3. Jupyter-notebook wordt gegenereerd vanuit de IBM Streams-app.
  4. Gebruiker voert streaming-app uit in Jupyter-notebook.
  5. Jupyter-notebook heeft toegang tot de Kafka-service via IBM Event Streams om berichten te verzenden / ontvangen.

Instructies

klaar om te beginnen? De README legt de stappen uit om:

  1. Kloon de opslagplaats
  2. Provison Event Streams op IBM Cloud
  3. Maak een voorbeeld van een Python-app voor de Kafka-console
  4. Voeg de IBM Streams-service toe aan Cloud Pak for Data
  5. Maak een nieuw project aan in Cloud Pak for Data
  6. Maak een streamstroom in Cloud Pak for Data
  7. Maak een streams-stroom met Kafka als bron
  8. Gebruik de optie Streams Flow om een ​​notitieblok te genereren
  9. Voer het gegenereerde Streams Flow-notitieblok uit

Dit patroon maakt deel uit van de Leerpad: aan de slag met IBM Streams. Bekijk een codepatroon met de titel om door te gaan met de serie en meer te weten te komen over IBM Streams Bouw een streaming-app met behulp van een Python-API.

Bron: https://developer.ibm.com/patterns/add-event-streams-and-a-db-in-python-to-clickstream/

Tijdstempel:

Meer van IBM-ontwikkelaar