Uzyskaj informacje z filmów

Podsumowanie

W tym wzorcu kodu dowiesz się, jak wyodrębniać notatki z diametralnością mówiącego i istotne raporty zawierające szczegółowe informacje za pomocą rozwiązań IBM® Watson™ Speech To Text, Watson Natural Language Processing i Watson Tone Analysis po wyświetleniu dowolnego wideo.

Opis

W wirtualnie połączonym świecie bardzo ważne jest skupienie się na pracy lub edukacji. Badania sugerują, że wiele osób traci koncentrację podczas wirtualnych spotkań na żywo lub sesji w wirtualnej klasie po około 20 minutach. Dlatego wiele spotkań i wirtualnych zajęć jest nagrywanych, aby każdy mógł je później obejrzeć.

Pomocna mogłaby być analiza tych nagrań i wygenerowanie szczegółowego raportu ze spotkania lub zajęć przy użyciu sztucznej inteligencji (AI). Ten wzór kodu wyjaśnia, jak to zrobić. Biorąc pod uwagę nagranie wideo wirtualnego spotkania lub wirtualnej klasy, wyjaśnia, jak wyodrębnić dźwięk z pliku wideo przy użyciu biblioteki open source FFmpeg, dokonać transkrypcji dźwięku, aby uzyskać notatki z diametralnymi komunikatami mówiącego za pomocą specjalnie wyszkolonego języka i mowy akustycznej na modele tekstowe, i wygeneruj raport zrozumienia języka naturalnego, który składa się z kategorii, pojęć, emocji, jednostek, słów kluczowych, opinii, najważniejszych pozytywnych zdań i chmur słów, korzystając ze środowiska wykonawczego Python Flask.

Po ukończeniu wzorca kodu rozumiesz, jak:

• Skorzystaj z usługi Watson Speech to Text, aby przekształcić ludzki głos w słowo pisane
• Korzystaj z zaawansowanego przetwarzania języka naturalnego do analizowania tekstu i wyodrębniania metadanych z treści, takich jak koncepcje, encje, słowa kluczowe, kategorie, sentyment i emocje
• Wykorzystaj kognitywno-lingwistyczną analizę Watson Tone Analyzer do identyfikacji różnych tonów zarówno na poziomie zdania, jak i dokumentu

Przepływ

1. Użytkownik przesyła nagrany plik wideo z wirtualnego spotkania lub wirtualnej klasy.
2. Biblioteka FFmpeg wyodrębnia dźwięk z pliku wideo.
3. Usługa Watson Speech To Text dokonuje transkrypcji dźwięku w celu uzyskania dwuwymiarowego tekstu wyjściowego.
4. (Opcjonalnie) Usługa Watson Language Translator tłumaczy inne języki na transkrypcję w języku angielskim.
5. Watson Tone Analyzer analizuje transkrypcję i wybiera z niej najważniejsze pozytywne stwierdzenia.
6. Watson Natural Language Understanding czyta transkrypcję, aby zidentyfikować kluczowe wskazówki oraz poznać odczucia i emocje.
7. Najważniejsze wskazówki i podsumowanie filmu prezentowane są użytkownikowi w aplikacji.
8. Użytkownik może pobrać spostrzeżenia tekstowe.

Instrukcje

Znajdź szczegółowe kroki w README plik. Te kroki wyjaśniają, jak:

1. Sklonuj repozytorium GitHub.
2. Dodaj poświadczenia do aplikacji.
3. Wdróż aplikację.
4. Uruchom aplikację.

Ten wzorzec kodu jest częścią Wydobywanie spostrzeżeń z filmów za pomocą IBM Watson seria przypadków użycia, która prezentuje rozwiązanie w zakresie wydobywania znaczących spostrzeżeń z filmów przy użyciu usług Watson Speech to Text, Watson Natural Language Processing i Watson Tone Analyzer.