นำเข้าข้อมูลจาก Apache Kafka

โหนดต้นทาง: 747576

นี่เป็นส่วนหนึ่งของ เส้นทางการเรียนรู้: เริ่มต้นใช้งาน IBM Streams.

สรุป

ในรูปแบบโค้ดสำหรับนักพัฒนานี้ เราจะแนะนำคุณเกี่ยวกับพื้นฐานของการสร้างแอปพลิเคชันการสตรีมที่ขับเคลื่อนโดย Apache Kafka ซึ่งเป็นหนึ่งในแพลตฟอร์มการสตรีมเหตุการณ์แบบโอเพนซอร์สที่ได้รับความนิยมมากที่สุด ซึ่งใช้สำหรับสร้างไปป์ไลน์ข้อมูลแบบเรียลไทม์และแอปสตรีมมิง แอปพลิเคชันจะถูกสร้างขึ้นโดยใช้ IBM Streams บน IBM Cloud Pak® for Data

รายละเอียด

ในรูปแบบนี้ เราจะแนะนำคุณเกี่ยวกับพื้นฐานการสร้างแอปพลิเคชันการสตรีมที่ขับเคลื่อนโดย Apache Kafka แอปของเราจะสร้างโดยใช้ IBM Streams บน IBM Cloud Pak for Data IBM Streams มี IDE ในตัว (Streams Flows) ที่ช่วยให้คุณสร้างแอปสตรีมมิ่งแบบเห็นภาพได้ แพลตฟอร์ม IBM Cloud Pak for Data ให้การสนับสนุนเพิ่มเติม เช่น การผสานรวมกับแหล่งข้อมูลหลายแหล่ง การวิเคราะห์ในตัว Jupyter Notebooks และการเรียนรู้ของเครื่อง

สำหรับบริการ Apache Kafka ของเรา เราจะใช้ IBM Event Streams บน IBM Cloud ซึ่งเป็นบัสข้อความปริมาณงานสูงที่สร้างขึ้นบนแพลตฟอร์ม Kafka ในตัวอย่างต่อไปนี้ เราจะแสดงเป็นทั้งแหล่งที่มาและเป้าหมายของข้อมูลการคลิก ซึ่งเป็นข้อมูลที่บันทึกจากการคลิกของผู้ใช้ขณะเรียกดูเว็บไซต์ช้อปปิ้งออนไลน์

ไหล

flow

  1. ผู้ใช้สร้างแอพสตรีมมิ่งใน IBM Streams
  2. แอพสตรีมมิ่งใช้บริการ Kafka ผ่าน IBM Event Streams เพื่อส่ง/รับข้อความ
  3. โน้ตบุ๊ก Jupyter สร้างขึ้นจากแอป IBM Streams
  4. ผู้ใช้รันแอพสตรีมมิ่งในโน้ตบุ๊ก Jupyter
  5. โน้ตบุ๊ก Jupyter เข้าถึงบริการ Kafka ผ่าน IBM Event Streams เพื่อส่ง/รับข้อความ

คำแนะนำ

พร้อมที่จะเริ่มต้นหรือยัง NS README อธิบายขั้นตอนเพื่อ:

  1. โคลนที่เก็บ
  2. Provison Event Streams บน IBM Cloud
  3. สร้างตัวอย่างแอป Python ของคอนโซล Kafka
  4. เพิ่มบริการ IBM Streams ให้กับ Cloud Pak for Data
  5. สร้างโครงการใหม่ใน Cloud Pak for Data
  6. สร้างกระแสข้อมูลใน Cloud Pak สำหรับ Data
  7. สร้างกระแสธารด้วย Kafka เป็นแหล่งที่มา
  8. ใช้ตัวเลือก Streams Flow เพื่อสร้างสมุดบันทึก
  9. เรียกใช้สมุดบันทึก Streams Flow ที่สร้างขึ้น

รูปแบบนี้เป็นส่วนหนึ่งของ เส้นทางการเรียนรู้: เริ่มต้นใช้งาน IBM Streams. หากต้องการดูซีรีส์ต่อและเรียนรู้เพิ่มเติมเกี่ยวกับ IBM Streams โปรดดูรูปแบบโค้ดที่ชื่อ สร้างแอปสตรีมมิ่งโดยใช้ Python API.

ที่มา: https://developer.ibm.com/patterns/add-event-streams-and-a-db-in-python-to-clickstream/

ประทับเวลา:

เพิ่มเติมจาก นักพัฒนาไอบีเอ็ม