Trekk ut innsikt fra videoer

Oppsummering

I dette kodemønsteret kan du lære hvordan du trekker ut høyttalerdiariserte notater og meningsfulle innsiktsrapporter ved hjelp av IBM® Watson™ tale til tekst, Watson Natural Language Processing og Watson Tone Analysis når du får en video.

Beskrivelse

I en tilnærmet tilkoblet verden er det svært viktig å holde fokus på jobb eller utdanning. Studier tyder på at mange mennesker mister fokus i virtuelle møter eller virtuelle klasseromsøkter etter omtrent 20 minutter. Derfor blir mange møter og virtuelle klasserom tatt opp slik at en person kan se det senere.

Det kan hjelpe hvis disse opptakene kunne analyseres, og en detaljert rapport fra møtet eller klassen genereres ved å bruke kunstig intelligens (AI). Dette kodemønsteret forklarer hvordan du gjør det. Gitt et videoopptak av det virtuelle møtet eller det virtuelle klasserommet, forklarer den hvordan du trekker ut lyd fra en videofil ved hjelp av FFmpeg åpen kildekode-bibliotek, transkriberer lyden for å få høyttaler-diariserte notater med spesialtrent språk og akustisk tale til tekstmodeller, og generer en naturlig språkforståelsesrapport som består av kategorien, konsepter, følelser, enheter, nøkkelord, sentiment, topp positive setninger og ordskyer ved å bruke en Python Flask-kjøring.

Etter å ha fullført kodemønsteret, forstår du hvordan du:

• Bruk Watson Speech to Text-tjenesten til å konvertere den menneskelige stemmen til det skrevne ordet
• Bruk avansert naturlig språkbehandling for å analysere tekst og trekke ut metadata fra innhold som begreper, enheter, nøkkelord, kategorier, følelser og følelser
• Utnytt kognitiv språklig analyse av Watson Tone Analyzer for å identifisere forskjellige toner på både setnings- og dokumentnivå

Flow

1. Brukeren laster opp en innspilt videofil av det virtuelle møtet eller det virtuelle klasserommet.
2. FFmpeg-biblioteket trekker ut lyd fra videofilen.
3. Watson Speech To Text-tjenesten transkriberer lyden for å gi en diarisert tekstutgang.
4. (Valgfritt) Watson Language Translator-tjenesten oversetter andre språk til en engelsk transkripsjon.
5. Watson Tone Analyzer analyserer transkripsjonen og plukker opp de beste positive uttalelsene fra transkripsjonen.
6. Watson Natural Language Understanding leser transkripsjonen for å identifisere viktige pekepinner og for å få følelsene og følelsene.
7. De viktigste tipsene og sammendraget av videoen presenteres for brukeren i applikasjonen.
8. Brukeren kan laste ned tekstinnsikten.

Instruksjoner

Finn de detaljerte trinnene i README fil. Disse trinnene forklarer hvordan du:

1. Klon GitHub-depotet.
2. Legg til legitimasjon i applikasjonen.
3. Distribuer applikasjonen.
4. Kjør programmet.

Dette kodemønsteret er en del av Henter ut innsikt fra videoer med IBM Watson bruk case-serier, som viser løsningen på å trekke ut meningsfull innsikt fra videoer ved hjelp av Watson Speech to Text, Watson Natural Language Processing og Watson Tone Analyzer-tjenester.