Extrageți informații din videoclipuri

Rezumat

În acest model de cod, aflați cum să extrageți note diarizate ale vorbitorului și rapoarte semnificative de informații folosind IBM® Watson™ Speech To Text, Watson Natural Language Processing și Watson Tone Analysis atunci când primiți orice videoclip.

Descriere

Într-o lume virtual conectată, a rămâne concentrat pe muncă sau educație este foarte important. Studiile sugerează că mulți oameni își pierd concentrarea în întâlnirile virtuale live sau sesiunile de clasă virtuală după aproximativ 20 de minute. Prin urmare, multe întâlniri și săli de clasă virtuale sunt înregistrate, astfel încât o persoană să le poată viziona mai târziu.

Ar putea fi de ajutor dacă aceste înregistrări ar putea fi analizate și un raport detaliat al întâlnirii sau clasei este generat prin utilizarea inteligenței artificiale (AI). Acest model de cod explică cum să faci asta. Având o înregistrare video a întâlnirii virtuale sau a sălii de clasă virtuală, acesta explică cum să extrageți sunetul dintr-un fișier video folosind biblioteca open source FFmpeg, să transcrieți sunetul pentru a obține note diarizate de vorbitor cu limbaj antrenat personalizat și vorbire acustică la modele de text, și generați un raport de înțelegere a limbajului natural care constă din categorie, concepte, emoție, entități, cuvinte cheie, sentimente, propoziții pozitive de top și nori de cuvinte folosind un timp de execuție Python Flask.

După finalizarea modelului de cod, înțelegeți cum să:

• Utilizați serviciul Watson Speech to Text pentru a converti vocea umană în cuvânt scris
• Utilizați procesarea avansată a limbajului natural pentru a analiza textul și a extrage metadate din conținut, cum ar fi concepte, entități, cuvinte cheie, categorii, sentimente și emoții
• Utilizați analiza lingvistică cognitivă a analizorului de tonuri Watson pentru a identifica o varietate de tonuri atât la nivel de propoziție, cât și la nivel de document

Debit

1. Utilizatorul încarcă un fișier video înregistrat al întâlnirii virtuale sau al clasei virtuale.
2. Biblioteca FFmpeg extrage sunetul din fișierul video.
3. Serviciul Watson Speech To Text transcrie audio pentru a oferi o ieșire textuală diarizată.
4. (Opțional) Serviciul Watson Language Translator traduce alte limbi într-o transcriere în engleză.
5. Watson Tone Analyzer analizează transcrierea și preia primele declarații pozitive din transcriere.
6. Watson Natural Language Understanding citește transcrierea pentru a identifica indicatorii cheie și pentru a obține sentimentele și emoțiile.
7. Indicatorii cheie și rezumatul videoclipului sunt prezentate utilizatorului în aplicație.
8. Utilizatorul poate descărca informațiile textuale.

Instrucțiuni

Găsiți pașii detaliați în README fişier. Acești pași explică cum se face:

1. Clonați depozitul GitHub.
2. Adăugați acreditările în aplicație.
3. Implementați aplicația.
4. Pornește aplicația.

Acest model de cod este parte a Extragerea de informații din videoclipuri cu IBM Watson Seria de cazuri de utilizare, care prezintă soluția pentru extragerea de informații semnificative din videoclipuri folosind serviciile Watson Speech to Text, Watson Natural Language Processing și Watson Tone Analyzer.