Extrahieren Sie Erkenntnisse aus Videos

Zusammenfassung

In diesem Codemuster erfahren Sie, wie Sie mit IBM® Watson ™ Speech To Text, Watson Natural Language Processing und Watson Tone Analysis sprecherdiierte Notizen und aussagekräftige Insights-Berichte extrahieren, wenn Sie ein Video erhalten.

Beschreibung

In einer praktisch vernetzten Welt ist es sehr wichtig, sich auf Arbeit oder Bildung zu konzentrieren. Studien deuten darauf hin, dass viele Menschen nach etwa 20 Minuten ihren Fokus in virtuellen Live-Meetings oder virtuellen Klassenzimmersitzungen verlieren. Daher werden viele Besprechungen und virtuelle Klassenzimmer aufgezeichnet, damit eine Person sie später ansehen kann.

Es könnte hilfreich sein, wenn diese Aufzeichnungen analysiert werden könnten und mithilfe künstlicher Intelligenz (KI) ein detaillierter Bericht über das Meeting oder die Klasse erstellt wird. Dieses Codemuster erklärt, wie das geht. Anhand einer Videoaufzeichnung des virtuellen Meetings oder des virtuellen Klassenzimmers wird erläutert, wie Sie mithilfe der FFmpeg-Open-Source-Bibliothek Audio aus einer Videodatei extrahieren, das Audio transkribieren, um mit Sprechern versehene Notizen mit speziell trainierter Sprache und akustischer Sprache in Textmodelle zu erhalten. Erstellen Sie mithilfe einer Python Flask-Laufzeit einen Bericht zum Verständnis der natürlichen Sprache, der aus Kategorie, Konzepten, Emotionen, Entitäten, Schlüsselwörtern, Gefühlen, positiven Top-Sätzen und Wortwolken besteht.

Nachdem Sie das Codemuster ausgefüllt haben, wissen Sie, wie Sie:

• Verwenden Sie den Watson Speech to Text-Dienst, um die menschliche Stimme in das geschriebene Wort umzuwandeln
• Verwenden Sie die erweiterte Verarbeitung natürlicher Sprache, um Text zu analysieren und Metadaten aus Inhalten wie Konzepten, Entitäten, Schlüsselwörtern, Kategorien, Stimmungen und Emotionen zu extrahieren
• Nutzen Sie die kognitive Sprachanalyse von Watson Tone Analyzer, um eine Vielzahl von Tönen sowohl auf Satz- als auch auf Dokumentebene zu identifizieren

Flow

1. Der Benutzer lädt eine aufgezeichnete Videodatei des virtuellen Meetings oder des virtuellen Klassenzimmers hoch.
2. Die FFmpeg-Bibliothek extrahiert Audio aus der Videodatei.
3. Der Watson Speech To Text-Dienst transkribiert das Audio, um eine diarisierte Textausgabe zu erhalten.
4. (Optional) Der Watson Language Translator-Dienst übersetzt andere Sprachen in ein englisches Transkript.
5. Watson Tone Analyzer analysiert das Transkript und nimmt die positivsten Aussagen aus dem Transkript auf.
6. Watson Natural Language Understanding liest das Transkript, um wichtige Hinweise zu identifizieren und die Gefühle und Emotionen zu erfassen.
7. Die wichtigsten Hinweise und die Zusammenfassung des Videos werden dem Benutzer in der Anwendung angezeigt.
8. Der Benutzer kann die Texterkenntnisse herunterladen.

Anweisungen

Die detaillierten Schritte finden Sie in der README Datei. Diese Schritte erklären, wie man:

1. Klonen Sie das GitHub-Repository.
2. Fügen Sie der Anwendung die Anmeldeinformationen hinzu.
3. Stellen Sie die Anwendung bereit.
4. Führen Sie die Anwendung.

Dieses Codemuster ist Teil des Extrahieren von Erkenntnissen aus Videos mit IBM Watson Anwendungsfallreihen, in denen die Lösung zum Extrahieren aussagekräftiger Erkenntnisse aus Videos mithilfe der Dienste Watson Speech to Text, Watson Natural Language Processing und Watson Tone Analyzer vorgestellt wird.