Ingérer des données depuis Apache Kafka

Cela fait partie du Parcours d'apprentissage: Premiers pas avec IBM Streams.

Résumé

Dans ce modèle de code de développeur, nous vous expliquons les bases de la création d'une application de streaming alimentée par Apache Kafka, l'une des plates-formes de diffusion d'événements distribuées open source les plus populaires utilisées pour créer un pipeline de données en temps réel et des applications de streaming. L'application sera créée à l'aide d'IBM Streams sur IBM Cloud Pak® for Data.

Description

Dans ce modèle, nous vous expliquons les bases de la création d'une application de streaming alimentée par Apache Kafka. Notre application sera créée à l'aide d'IBM Streams sur IBM Cloud Pak for Data. IBM Streams fournit un IDE (Streams Flows) intégré qui vous permet de créer visuellement une application de streaming. La plate-forme IBM Cloud Pak for Data fournit une prise en charge supplémentaire, telle que l'intégration avec plusieurs sources de données, des analyses intégrées, des notebooks Jupyter et l'apprentissage automatique.

Pour notre service Apache Kafka, nous utiliserons IBM Event Streams sur IBM Cloud, qui est un bus de messages à haut débit construit sur la plate-forme Kafka. Dans les exemples suivants, nous les montrerons à la fois comme une source et une cible de données de flux de clics - des données capturées à partir des clics des utilisateurs lors de leur navigation sur les sites Web d'achat en ligne.

Flow

1. L'utilisateur crée une application de streaming dans IBM Streams.
2. L'application de streaming utilise le service Kafka via IBM Event Streams pour envoyer / recevoir des messages.
3. Le bloc-notes Jupyter est généré à partir de l'application IBM Streams.
4. L'utilisateur exécute l'application de streaming dans le bloc-notes Jupyter.
5. Le notebook Jupyter accède au service Kafka via IBM Event Streams pour envoyer / recevoir des messages.

Instructions

Prêt à commencer? le README explique les étapes pour:

1. Cloner le repo
2. Provison Event Streams sur IBM Cloud
3. Créer un exemple d'application Python de la console Kafka
4. Ajouter le service IBM Streams à Cloud Pak for Data
5. Créer un nouveau projet dans Cloud Pak for Data
6. Créer un flux Streams dans Cloud Pak for Data
7. Créer un flux Streams avec Kafka comme source
8. Utiliser l'option Flux de flux pour générer un bloc-notes
9. Exécuter le bloc-notes Streams Flow généré

Ce modèle fait partie de la Parcours d'apprentissage: Premiers pas avec IBM Streams. Pour continuer la série et en savoir plus sur IBM Streams, consultez un modèle de code intitulé Créer une application de streaming à l'aide d'une API Python.

Source : https://developer.ibm.com/patterns/add-event-streams-and-a-db-in-python-to-clickstream/