Витягніть статистику з відео

Підсумки

У цьому шаблоні коду навчіться отримувати щоденникові нотатки доповідача та важливі аналітичні звіти за допомогою IBM® Watson™ Speech To Text, Watson Natural Language Processing і Watson Tone Analysis, коли надається будь-яке відео.

Опис

У віртуально пов’язаному світі дуже важливо зосереджуватися на роботі чи навчанні. Дослідження показують, що багато людей втрачають увагу під час живих віртуальних зустрічей або занять у віртуальній кімнаті приблизно через 20 хвилин. Тому багато зустрічей і віртуальних класів записуються, щоб окрема особа могла їх переглянути пізніше.

Було б корисно, якби ці записи можна було проаналізувати та створити докладний звіт про зустріч чи заняття за допомогою штучного інтелекту (ШІ). Цей шаблон коду пояснює, як це зробити. З огляду на відеозапис віртуальної зустрічі чи віртуальної класної кімнати, тут пояснюється, як отримати аудіо з відеофайлу за допомогою бібліотеки з відкритим кодом FFmpeg, транскрибувати аудіо, щоб отримати щоденникові нотатки доповідача з налаштованою мовою та акустичним мовленням у текстові моделі, і створити звіт про розуміння природної мови, який складається з категорії, понять, емоцій, сутностей, ключових слів, настроїв, найпопулярніших позитивних речень і хмар слів за допомогою середовища виконання Python Flask.

Після завершення шаблону коду ви розумієте, як:

• Використовуйте службу Watson Speech to Text, щоб перетворити людський голос на письмове слово
• Використовуйте вдосконалену обробку природної мови для аналізу тексту та витягування метаданих із вмісту, таких як концепції, сутності, ключові слова, категорії, настрої та емоції
• Використовуйте когнітивний лінгвістичний аналіз Watson Tone Analyzer для виявлення різноманітних тонів як на рівні пропозиції, так і на рівні документа

Потік

1. Користувач завантажує записаний відеофайл віртуальної зустрічі або віртуального класу.
2. Бібліотека FFmpeg витягує аудіо з відеофайлу.
3. Служба Watson Speech To Text транскрибує аудіо, щоб створити текстовий вихід у вигляді щоденника.
4. (Додатково) Служба Watson Language Translator перекладає інші мови на англійську транскрипцію.
5. Watson Tone Analyzer аналізує стенограму та вибирає з неї найпопулярніші позитивні твердження.
6. Watson Natural Language Understanding читає стенограму, щоб визначити ключові вказівки та зрозуміти почуття та емоції.
7. Ключові вказівки та короткий зміст відео представлені користувачеві в додатку.
8. Користувач може завантажити текстову інформацію.

інструкції

Знайдіть докладні кроки в README файл. Ці кроки пояснюють, як:

1. Клонуйте репозиторій GitHub.
2. Додайте облікові дані до програми.
3. Розгорніть програму.
4. Запустіть програму.

Цей шаблон коду є частиною Отримання інформації з відео за допомогою IBM Watson Серія прикладів використання, яка демонструє рішення для отримання значущої інформації з відео за допомогою служб Watson Speech to Text, Watson Natural Language Processing і Watson Tone Analyzer.