Ingerir dados do Apache Kafka

Isso faz parte do Caminho de aprendizagem: introdução ao IBM Streams.

Resumo

Neste padrão de código de desenvolvedor, orientamos você nos fundamentos da criação de um aplicativo de streaming desenvolvido por Apache Kafka, uma das plataformas de streaming de eventos distribuídas de código aberto mais populares usadas para criar pipeline de dados em tempo real e apps de streaming. O aplicativo será construído usando IBM Streams no IBM Cloud Pak® for Data.

Descrição

Neste padrão, orientamos você nos fundamentos da criação de um aplicativo de streaming com tecnologia Apache Kafka. Nosso aplicativo será desenvolvido usando IBM Streams no IBM Cloud Pak for Data. O IBM Streams fornece um IDE integrado (Streams Flows) que permite criar visualmente um aplicativo de streaming. A plataforma IBM Cloud Pak for Data fornece suporte adicional, como integração com várias fontes de dados, análises integradas, Jupyter Notebooks e aprendizado de máquina.

Para nosso serviço Apache Kafka, usaremos IBM Event Streams no IBM Cloud, que é um barramento de mensagem de alto rendimento desenvolvido na plataforma Kafka. Nos exemplos a seguir, vamos mostrá-lo como uma fonte e um destino de dados de fluxo de cliques - dados capturados de cliques de usuários enquanto navegavam em sites de compras online.

Fluxo

1. O usuário cria um aplicativo de streaming no IBM Streams.
2. O aplicativo de streaming usa o serviço Kafka por meio do IBM Event Streams para enviar / receber mensagens.
3. O bloco de notas Jupyter é gerado a partir do aplicativo IBM Streams.
4. O usuário executa o aplicativo de streaming no notebook Jupyter.
5. O notebook Jupyter acessa o serviço Kafka por meio do IBM Event Streams para enviar / receber mensagens.

Instruções

Pronto para começar? O README explica as etapas para:

1. Clone o repo
2. Provison Event Streams na IBM Cloud
3. Crie uma amostra do aplicativo Python do console Kafka
4. Adicionar serviço IBM Streams ao Cloud Pak for Data
5. Crie um novo projeto no Cloud Pak for Data
6. Crie um fluxo de streams no Cloud Pak for Data
7. Crie um fluxo de streams com Kafka como fonte
8. Use a opção Streams Flow para gerar um notebook
9. Execute o bloco de notas Streams Flow gerado

Este padrão é parte do Caminho de aprendizagem: introdução ao IBM Streams. Para continuar a série e aprender mais sobre IBM Streams, verifique um padrão de código intitulado Construir um aplicativo de streaming usando uma API Python.

Fonte: https://developer.ibm.com/patterns/add-event-streams-and-a-db-in-python-to-clickstream/