Uddrag indsigt fra videoer

Resumé

I dette kodemønster kan du lære, hvordan du udtrækker højttalerdiariserede noter og meningsfulde indsigtsrapporter ved hjælp af IBM® Watson™ tale til tekst, Watson Natural Language Processing og Watson Tone Analysis, når du får en video.

Beskrivelse

I en virtuelt forbundet verden er det meget vigtigt at holde fokus på arbejde eller uddannelse. Undersøgelser tyder på, at mange mennesker mister deres fokus i virtuelle møder eller virtuelle klasseværelsessessioner efter cirka 20 minutter. Derfor optages mange møder og virtuelle klasseværelser, så en person kan se det senere.

Det kunne måske hjælpe, hvis disse optagelser kunne analyseres, og en detaljeret rapport om mødet eller klassen genereres ved hjælp af kunstig intelligens (AI). Dette kodemønster forklarer, hvordan man gør det. Givet en videooptagelse af det virtuelle møde eller det virtuelle klasseværelse, forklarer den, hvordan man udtrækker lyd fra en videofil ved hjælp af FFmpeg open source-biblioteket, transskriberer lyden for at få talere-diariserede noter med specialtrænet sprog og akustisk tale til tekstmodeller, og generere en naturlig sprogforståelsesrapport, der består af kategorien, begreber, følelser, entiteter, nøgleord, følelser, positive positive sætninger og ordskyer ved hjælp af en Python Flask-runtime.

Når du har gennemført kodemønsteret, forstår du, hvordan du:

• Brug Watson Speech to Text-tjenesten til at konvertere den menneskelige stemme til det skrevne ord
• Brug avanceret naturlig sprogbehandling til at analysere tekst og udtrække metadata fra indhold såsom begreber, entiteter, nøgleord, kategorier, følelser og følelser
• Udnyt Watson Tone Analyzer kognitiv lingvistisk analyse til at identificere en række forskellige toner på både sætnings- og dokumentniveau

Flow

1. Brugeren uploader en optaget videofil af det virtuelle møde eller det virtuelle klasseværelse.
2. FFmpeg-biblioteket udtrækker lyd fra videofilen.
3. Watson Speech To Text-tjenesten transskriberer lyden for at give et diaariseret tekstoutput.
4. (Valgfrit) Watson Language Translator-tjenesten oversætter andre sprog til en engelsk udskrift.
5. Watson Tone Analyzer analyserer transskriptionen og samler de bedste positive udsagn op fra transskriptionen.
6. Watson Natural Language Understanding læser transskriptionen for at identificere nøglepunkter og for at få følelserne og følelserne.
7. De vigtigste pointer og resumé af videoen præsenteres for brugeren i applikationen.
8. Brugeren kan downloade tekstindsigten.

Instruktioner

Find de detaljerede trin i README fil. Disse trin forklarer, hvordan du:

1. Klon GitHub-depotet.
2. Tilføj legitimationsoplysningerne til applikationen.
3. Implementer applikationen.
4. Kør programmet.

Dette kodemønster er en del af Uddrag af indsigt fra videoer med IBM Watson use case-serier, som viser løsningen til at udtrække meningsfuld indsigt fra videoer ved hjælp af Watson Speech to Text, Watson Natural Language Processing og Watson Tone Analyzer-tjenester.