Haal inzichten uit video's

Samengevat

In dit codepatroon leert u hoe u notities uit het dagboek van de spreker en rapporten met zinvolle inzichten kunt extraheren met behulp van IBM® Watson™ Speech To Text, Watson Natural Language Processing en Watson Tone Analysis wanneer u een video krijgt.

Omschrijving

In een virtueel verbonden wereld is het erg belangrijk om gefocust te blijven op werk of opleiding. Studies suggereren dat veel mensen hun focus verliezen in live virtuele vergaderingen of virtuele klassikale sessies na ongeveer 20 minuten. Daarom worden veel vergaderingen en virtuele klaslokalen opgenomen, zodat een individu het later kan bekijken.

Het zou kunnen helpen als deze opnames kunnen worden geanalyseerd en er een gedetailleerd verslag van de vergadering of les wordt gegenereerd met behulp van kunstmatige intelligentie (AI). In dit codepatroon wordt uitgelegd hoe u dat doet. Gegeven een video-opname van de virtuele vergadering of het virtuele klaslokaal, wordt uitgelegd hoe audio uit een videobestand kan worden geëxtraheerd met behulp van de FFmpeg open source-bibliotheek, de audio kan worden getranscribeerd om aantekeningen van sprekers te krijgen met op maat getrainde taal en akoestische spraak naar tekstmodellen, en genereer een rapport over het begrijpen van natuurlijke taal dat bestaat uit de categorie, concepten, emotie, entiteiten, trefwoorden, sentiment, positieve zinnen en woordwolken met behulp van een Python Flask-runtime.

Nadat u het codepatroon hebt voltooid, begrijpt u hoe u:

• Gebruik de Watson Speech to Text-service om de menselijke stem om te zetten in het geschreven woord
• Gebruik geavanceerde natuurlijke taalverwerking om tekst te analyseren en metadata te extraheren uit inhoud zoals concepten, entiteiten, trefwoorden, categorieën, sentiment en emotie
• Gebruik de cognitieve linguïstische analyse van Watson Tone Analyzer om verschillende tonen te identificeren op zowel zins- als documentniveau

Stroom

1. De gebruiker uploadt een opgenomen videobestand van de virtuele vergadering of het virtuele klaslokaal.
2. De FFmpeg-bibliotheek extraheert audio uit het videobestand.
3. De Watson Speech To Text-service transcribeert de audio om een ​​gedagtekende tekstuele uitvoer te geven.
4. (Optioneel) De Watson Language Translator-service vertaalt andere talen naar een Engels transcript.
5. Watson Tone Analyzer analyseert het transcript en haalt de belangrijkste positieve uitspraken uit het transcript.
6. Watson Natural Language Understanding leest het transcript om de belangrijkste aanwijzingen te identificeren en de gevoelens en emoties te begrijpen.
7. De belangrijkste aanwijzingen en samenvatting van de video worden in de applicatie aan de gebruiker gepresenteerd.
8. De gebruiker kan de tekstuele inzichten downloaden.

Instructies

Vind de gedetailleerde stappen in de README het dossier. Deze stappen leggen uit hoe u:

1. Kloon de GitHub-opslagplaats.
2. Voeg de inloggegevens toe aan de toepassing.
3. Implementeer de applicatie.
4. De toepassing wordt uitgevoerd.

Dit codepatroon maakt deel uit van de Inzichten uit video's halen met IBM Watson use case-serie, waarin de oplossing wordt getoond voor het extraheren van zinvolle inzichten uit video's met behulp van Watson Speech to Text, Watson Natural Language Processing en Watson Tone Analyzer-services.