Pobieranie danych z Apache Kafka

To jest część Ścieżka szkoleniowa: pierwsze kroki z IBM Streams.

Podsumowanie

W tym wzorcu kodu programisty przeprowadzimy Cię przez podstawy tworzenia aplikacji do przesyłania strumieniowego opartej na Apache Kafka, jednej z najpopularniejszych platform rozproszonego przesyłania strumieniowego zdarzeń typu open source używanej do tworzenia potoku danych w czasie rzeczywistym i aplikacji do przesyłania strumieniowego. Aplikacja zostanie zbudowana przy użyciu IBM Streams na platformie IBM Cloud Pak® for Data.

Opis

W tym schemacie przeprowadzimy Cię przez podstawy tworzenia aplikacji do przesyłania strumieniowego opartej na Apache Kafka. Nasza aplikacja zostanie zbudowana przy użyciu IBM Streams na platformie IBM Cloud Pak for Data. IBM Streams udostępnia wbudowane środowisko IDE (Streams Flows), które umożliwia wizualne tworzenie aplikacji do przesyłania strumieniowego. Platforma IBM Cloud Pak for Data zapewnia dodatkowe wsparcie, takie jak integracja z wieloma źródłami danych, wbudowane narzędzia analityczne, notebooki Jupyter i uczenie maszynowe.

W przypadku naszej usługi Apache Kafka będziemy używać IBM Event Streams w chmurze IBM Cloud, która jest magistralą komunikatów o wysokiej przepustowości zbudowaną na platformie Kafka. W poniższych przykładach pokażemy, że jest to zarówno źródło, jak i cel danych dotyczących kliknięć - danych uzyskanych z kliknięć użytkowników podczas przeglądania witryn sklepów internetowych.

Przepływ

1. Użytkownik tworzy aplikację do przesyłania strumieniowego w IBM Streams.
2. Aplikacja do przesyłania strumieniowego używa usługi Kafka za pośrednictwem IBM Event Streams do wysyłania / odbierania wiadomości.
3. Notatnik Jupyter jest generowany z aplikacji IBM Streams.
4. Użytkownik uruchamia aplikację do przesyłania strumieniowego w notatniku Jupyter.
5. Notatnik Jupyter uzyskuje dostęp do usługi Kafka za pośrednictwem IBM Event Streams w celu wysyłania / odbierania wiadomości.

Instrukcje

Gotowy żeby zacząć? Plik README wyjaśnia kroki, aby:

1. Sklonuj repozytorium
2. Udostępnianie strumieni zdarzeń w chmurze IBM Cloud
3. Utwórz przykładową aplikację konsoli Kafka w języku Python
4. Dodaj usługę IBM Streams do Cloud Pak for Data
5. Utwórz nowy projekt w Cloud Pak for Data
6. Utwórz przepływ strumieni w Cloud Pak for Data
7. Utwórz przepływ strumieni z Kafką jako źródłem
8. Użyj opcji Przepływ strumieni, aby wygenerować notatnik
9. Uruchom wygenerowany notatnik Przepływ strumieni

Ten wzór jest częścią Ścieżka szkoleniowa: pierwsze kroki z IBM Streams. Aby kontynuować serię i dowiedzieć się więcej o IBM Streams, zapoznaj się ze wzorcem kodu zatytułowanym Utwórz aplikację do przesyłania strumieniowego za pomocą interfejsu API języka Python.

Źródło: https://developer.ibm.com/patterns/add-event-streams-and-a-db-in-python-to-clickstream/