Ingerează date de la Apache Kafka

Aceasta face parte din Calea de învățare: începeți cu IBM Streams.

Rezumat

În acest model de cod pentru dezvoltatori, vă prezentăm elementele de bază ale creării unei aplicații de streaming alimentate de Apache Kafka, una dintre cele mai populare platforme de streaming de evenimente distribuite open source folosite pentru crearea canalelor de date în timp real și a aplicațiilor de streaming. Aplicația va fi construită folosind IBM Streams pe IBM Cloud Pak® pentru date.

Descriere

În acest model, vă prezentăm elementele de bază ale creării unei aplicații de streaming alimentate de Apache Kafka. Aplicația noastră va fi construită folosind IBM Streams pe IBM Cloud Pak for Data. IBM Streams oferă un IDE încorporat (Fluxuri Fluxuri) care vă permite să creați vizual o aplicație de streaming. Platforma IBM Cloud Pak for Data oferă suport suplimentar, cum ar fi integrarea cu mai multe surse de date, analize încorporate, notebook-uri Jupyter și învățare automată.

Pentru serviciul nostru Apache Kafka, vom folosi IBM Event Streams pe IBM Cloud, care este o magistrală de mesaje de mare viteză construită pe platforma Kafka. În exemplele următoare, îl vom arăta atât ca sursă, cât și ca țintă a datelor fluxului de clicuri - date capturate din clicurile utilizatorilor în timp ce navigau pe site-urile de cumpărături online.

Debit

1. Utilizatorul creează aplicație de streaming în fluxurile IBM.
2. Aplicația de streaming utilizează serviciul Kafka prin intermediul IBM Event Streams pentru a trimite / primi mesaje.
3. Notebook-ul Jupyter este generat din aplicația IBM Streams.
4. Utilizatorul execută aplicația de streaming în blocnotesul Jupyter.
5. Notebook-ul Jupyter accesează serviciul Kafka prin intermediul IBM Event Streams pentru a trimite / primi mesaje.

Instrucțiuni

Sunteți gata să începeți? README explică pașii pentru:

1. Clonați repo
2. Fluxuri de evenimente provizorii pe IBM Cloud
3. Creați o mostră de aplicație Python pentru consola Kafka
4. Adăugați serviciul IBM Streams în Cloud Pak pentru date
5. Creați un proiect nou în Cloud Pak pentru date
6. Creați un flux de fluxuri în Cloud Pak pentru date
7. Creați un flux de fluxuri cu Kafka ca sursă
8. Utilizați opțiunea Fluxuri flux pentru a genera un notebook
9. Rulați blocnotesul Fluxuri generat

Acest model face parte din Calea de învățare: începeți cu IBM Streams. Pentru a continua seria și a afla mai multe despre IBM Streams, consultați un model de cod intitulat Creați o aplicație de streaming utilizând un API Python.

Sursă: https://developer.ibm.com/patterns/add-event-streams-and-a-db-in-python-to-clickstream/