Extrahera insikter från videor

Sammanfattning

I det här kodmönster kan du lära dig hur du extraherar talarens diarienoter och meningsfulla insiktsrapporter med hjälp av IBM® Watson™ Tal till text, Watson Natural Language Processing och Watson Tone Analysis när du får en video.

Beskrivning

I en praktiskt taget uppkopplad värld är det mycket viktigt att fokusera på arbete eller utbildning. Studier tyder på att många människor tappar fokus i virtuella möten eller virtuella klassrumssessioner efter cirka 20 minuter. Därför spelas många möten och virtuella klassrum in så att en individ kan se det senare.

Det kan hjälpa om dessa inspelningar kunde analyseras och en detaljerad rapport från mötet eller klassen genereras med hjälp av artificiell intelligens (AI). Detta kodmönster förklarar hur man gör det. Med tanke på en videoinspelning av det virtuella mötet eller det virtuella klassrummet, förklarar den hur man extraherar ljud från en videofil med FFmpegs öppen källkodsbibliotek, transkriberar ljudet för att få högtalardiarisiserade anteckningar med specialtränat språk och akustiskt tal till textmodeller, och generera en naturlig språkförståelserapport som består av kategorin, begrepp, känslor, enheter, nyckelord, känslor, positiva meningar och ordmoln med hjälp av en Python Flask-runtime.

När du har slutfört kodmönstret förstår du hur du:

• Använd Watson Speech to Text-tjänsten för att konvertera den mänskliga rösten till det skrivna ordet
• Använd avancerad bearbetning av naturligt språk för att analysera text och extrahera metadata från innehåll som begrepp, enheter, sökord, kategorier, känslor och känslor
• Dra nytta av Watson Tone Analyzer kognitiv språklig analys för att identifiera en mängd olika toner på både menings- och dokumentnivå

Flöde

1. Användaren laddar upp en inspelad videofil av det virtuella mötet eller det virtuella klassrummet.
2. FFmpeg-biblioteket extraherar ljud från videofilen.
3. Watson Speech To Text-tjänsten transkriberar ljudet för att ge en diariserad textutmatning.
4. (Valfritt) Tjänsten Watson Language Translator översätter andra språk till en engelsk utskrift.
5. Watson Tone Analyzer analyserar utskriften och plockar upp de bästa positiva uttalandena från utskriften.
6. Watson Natural Language Understanding läser avskriften för att identifiera nyckelpunkter och för att få känslor och känslor.
7. De viktigaste tipsen och sammanfattningen av videon presenteras för användaren i applikationen.
8. Användaren kan ladda ner textinsikterna.

Instruktioner

Hitta de detaljerade stegen i README fil. Dessa steg förklarar hur du:

1. Klona GitHub-lagret.
2. Lägg till referenser till applikationen.
3. Distribuera applikationen.
4. Kör programmet.

Detta kodmönster är en del av Extrahera insikter från videor med IBM Watson use case series, som visar lösningen för att extrahera meningsfulla insikter från videor med Watson Speech to Text, Watson Natural Language Processing och Watson Tone Analyzer -tjänster.