استيعاب البيانات من أباتشي كافكا

عقدة المصدر: 747576

هذا جزء من مسار التعلم: ابدأ مع IBM Streams.

نبذة عامة

في نمط رمز المطور هذا ، نوجهك عبر أساسيات إنشاء تطبيق دفق مدعوم من Apache Kafka ، أحد أكثر منصات بث الأحداث الموزعة شيوعًا والمستخدمة لإنشاء خطوط بيانات في الوقت الفعلي وتطبيقات البث. سيتم إنشاء التطبيق باستخدام IBM Streams على IBM Cloud Pak® للبيانات.

الوصف

في هذا النمط ، نرشدك إلى أساسيات إنشاء تطبيق دفق مدعوم من Apache Kafka. سيتم إنشاء تطبيقنا باستخدام IBM Streams على IBM Cloud Pak for Data. يوفر IBM Streams IDE مضمنًا (Streams Flows) يسمح لك بإنشاء تطبيق التدفق بشكل مرئي. يوفر النظام الأساسي IBM Cloud Pak for Data دعمًا إضافيًا ، مثل التكامل مع مصادر بيانات متعددة ، والتحليلات المضمنة ، وأجهزة Jupyter Notebooks ، والتعلم الآلي.

بالنسبة لخدمة Apache Kafka الخاصة بنا ، سنستخدم IBM Event Streams على IBM Cloud ، وهو ناقل رسائل عالي الإنتاجية مبني على منصة كافكا. في الأمثلة التالية ، سنعرضها كمصدر وهدف لبيانات تدفق النقر - البيانات التي تم التقاطها من نقرات المستخدم أثناء تصفحهم لمواقع التسوق عبر الإنترنت.

التدفق

flow

  1. يقوم المستخدم بإنشاء تطبيق دفق في IBM Streams.
  2. يستخدم تطبيق البث خدمة Kafka عبر IBM Event Streams لإرسال / استلام الرسائل.
  3. يتم تكوين دفتر Jupyter من تطبيق IBM Streams.
  4. ينفذ المستخدم تطبيق البث في دفتر Jupyter.
  5. يصل دفتر Jupyter المحمول إلى خدمة Kafka عبر IBM Event Streams لإرسال / استقبال الرسائل.

تعليمات

على استعداد للبدء؟ ال README يشرح الخطوات من أجل:

  1. استنساخ الريبو
  2. توفير تدفقات الأحداث على IBM Cloud
  3. قم بإنشاء نموذج لتطبيق Kafka console Python
  4. إضافة خدمة IBM Streams إلى Cloud Pak للبيانات
  5. أنشئ مشروعًا جديدًا في Cloud Pak for Data
  6. إنشاء تدفق تدفقات في Cloud Pak للبيانات
  7. قم بإنشاء تدفق تدفقات مع كافكا كمصدر
  8. استخدم خيار Streams Flow لإنشاء دفتر ملاحظات
  9. قم بتشغيل دفتر ملاحظات التدفق الذي تم إنشاؤه

هذا النمط هو جزء من مسار التعلم: ابدأ مع IBM Streams. لمتابعة السلسلة ومعرفة المزيد حول IBM Streams ، قم بفحص نمط رمز بعنوان أنشئ تطبيق دفق باستخدام Python API.

المصدر: https://developer.ibm.com/patterns/add-event-streams-and-a-db-in-python-to-clickstream/

الطابع الزمني:

اكثر من IBM Developer