הכנס נתונים מ- Apache Kafka

זה חלק מה- מסלול למידה: התחל בעבודה עם זרמי IBM.

<br> סיכום

בתבנית קוד מפתח זה אנו מדווחים את היסודות של יצירת אפליקציית סטרימינג המופעלת על ידי Apache Kafka, אחת הפלטפורמות הפופולריות ביותר להפצת אירועים המופצים בקוד פתוח המשמשים ליצירת צינור נתונים בזמן אמת ואפליקציות הזרמה. היישום ייבנה באמצעות IBM Streams ב- IBM Cloud Pak® for Data.

תיאור

בתבנית זו אנו מדריכים את היסודות ליצירת יישום סטרימינג המופעל על ידי Apache Kafka. האפליקציה שלנו תיבנה באמצעות זרמי IBM ב- IBM Cloud Pak for Data. IBM Streams מספק IDE מובנה (Streams Flows) המאפשר ליצור ויזואלית אפליקציית סטרימינג. פלטפורמת ה- Cloud Pak for Data של IBM מספקת תמיכה נוספת, כגון שילוב עם מספר מקורות נתונים, ניתוח מובנה, מחברות Jupyter ולמידת מכונה.

עבור שירות Apache Kafka שלנו, אנו נשתמש ב- IBM Event Streams ב- IBM Cloud, שהוא אוטובוס הודעות בעל תפוקה גבוהה שנבנה על פלטפורמת Kafka. בדוגמאות הבאות נציג אותו כמקור וגם כיעד של נתוני קליקים - נתונים שנלכדו מלחיצות משתמשים בזמן שהם גולשים באתרי קניות מקוונים.

זרימה

1. המשתמש יוצר אפליקציית סטרימינג בזרמי IBM.
2. אפליקציית סטרימינג משתמשת בשירות Kafka באמצעות זרמי IBM Event כדי לשלוח / לקבל הודעות.
3. מחברת Jupyter נוצרת מאפליקציית IBM Streams.
4. המשתמש מבצע אפליקציית סטרימינג במחברת Jupyter.
5. מחברת Jupyter ניגשת לשירות Kafka באמצעות זרמי IBM Event כדי לשלוח / לקבל הודעות.

הוראות

מוכנים להתחיל? ה README מסביר את השלבים ל:

1. שיבוט את הריפו
2. זרמי אירוע Provison ב- IBM Cloud
3. צור אפליקציית פייתון לקונסולת קפקא לדוגמא
4. הוסף את שירות IBM Streams ל- Cloud Pak for Data
5. צור פרויקט חדש ב- Cloud Pak for Data
6. צור זרימת זרמים בענן Pak עבור נתונים
7. צור זרימת זרמים עם קפקא כמקור
8. השתמש באפשרות Streams Flow כדי ליצור מחברת
9. הפעל את מחברת Streams Flow שנוצרה

דפוס זה הוא חלק מה- מסלול למידה: התחל בעבודה עם זרמי IBM. להמשך הסדרה ולמידע נוסף על זרמי IBM, עיין בדפוס קוד שכותרתו בנה אפליקציית סטרימינג באמצעות ממשק API של Python.

מקור: https://developer.ibm.com/patterns/add-event-streams-and-a-db-in-python-to-clickstream/