Serap data dari Apache Kafka

Ini adalah bagian dari Jalur pembelajaran: Memulai IBM Streams.

Kesimpulan

Dalam pola kode pengembang ini, kami memandu Anda melalui dasar-dasar pembuatan aplikasi streaming yang didukung oleh Apache Kafka, salah satu platform streaming acara terdistribusi sumber terbuka paling populer yang digunakan untuk membuat saluran data waktu nyata dan aplikasi streaming. Aplikasi akan dibangun menggunakan IBM Streams on IBM Cloud Pak® for Data.

Deskripsi Produk

Dalam pola ini, kami memandu Anda melalui dasar-dasar pembuatan aplikasi streaming yang didukung oleh Apache Kafka. Aplikasi kami akan dibangun menggunakan IBM Streams di IBM Cloud Pak for Data. IBM Streams menyediakan IDE (Streams Flows) bawaan yang memungkinkan Anda membuat aplikasi streaming secara visual. Platform IBM Cloud Pak for Data memberikan dukungan tambahan, seperti integrasi dengan berbagai sumber data, analitik bawaan, Notebook Jupyter, dan pembelajaran mesin.

Untuk layanan Apache Kafka kami, kami akan menggunakan IBM Event Streams di IBM Cloud, yang merupakan bus pesan throughput tinggi yang dibangun di atas platform Kafka. Dalam contoh berikut, kami akan menampilkannya sebagai sumber dan target data clickstream — data yang diambil dari klik pengguna saat mereka menjelajahi situs web belanja online.

Aliran

1. Pengguna membuat aplikasi streaming di IBM Streams.
2. Aplikasi streaming menggunakan layanan Kafka melalui IBM Event Streams untuk mengirim/menerima pesan.
3. Notebook Jupyter dihasilkan dari aplikasi IBM Streams.
4. Pengguna menjalankan aplikasi streaming di notebook Jupyter.
5. Notebook Jupyter mengakses layanan Kafka melalui IBM Event Streams untuk mengirim/menerima pesan.

petunjuk

Siap memulai? Itu README menjelaskan langkah-langkah untuk:

1. Kloning repo
2. Aliran Acara Penyedia di IBM Cloud
3. Buat contoh aplikasi Python konsol Kafka
4. Tambahkan layanan IBM Streams ke Cloud Pak for Data
5. Buat proyek baru di Cloud Pak for Data
6. Buat Aliran Aliran di Cloud Pak untuk Data
7. Buat Aliran Aliran dengan Kafka sebagai sumber
8. Gunakan opsi Aliran Aliran untuk menghasilkan buku catatan
9. Jalankan buku catatan Streams Flow yang dihasilkan

Pola ini adalah bagian dari Jalur pembelajaran: Memulai IBM Streams. Untuk melanjutkan seri dan mempelajari lebih lanjut tentang IBM Streams, lihat pola kode berjudul Buat aplikasi streaming menggunakan Python API.

Sumber: https://developer.ibm.com/patterns/add-event-streams-and-a-db-in-python-to-clickstream/