Извлекать идеи из видео

Обзор

Из этого паттерна кода вы узнаете, как извлекать заметки из заметок и осмысленные отчеты с использованием IBM® Watson ™ Speech To Text, Watson Natural Language Processing и Watson Tone Analysis при наличии любого видео.

Описание

В виртуально связанном мире очень важно оставаться сосредоточенным на работе или образовании. Исследования показывают, что многие люди теряют концентрацию на виртуальных встречах в реальном времени или на занятиях в виртуальном классе примерно через 20 минут. Поэтому многие встречи и виртуальные классы записываются так, чтобы человек мог посмотреть его позже.

Это может помочь, если эти записи могут быть проанализированы, и подробный отчет о собрании или классе генерируется с использованием искусственного интеллекта (AI). Этот шаблон кода объясняет, как это сделать. В видео-записи о виртуальном собрании или виртуальном классе объясняется, как извлечь аудио из видеофайла с использованием библиотеки с открытым исходным кодом FFmpeg, транскрибировать аудио, чтобы получать записанные с помощью диктора заметки на специально обученном языке и акустическую речь в текстовые модели, и создать отчет о понимании естественного языка, который состоит из категории, концепций, эмоций, сущностей, ключевых слов, настроения, лучших положительных предложений и облаков слов с использованием среды выполнения Python Flask.

После завершения шаблона кода вы понимаете, как:

• Используйте сервис Watson Speech to Text, чтобы преобразовать человеческий голос в письменное слово
• Используйте расширенную обработку естественного языка для анализа текста и извлечения метаданных из контента, такого как понятия, сущности, ключевые слова, категории, настроения и эмоции
• Используйте когнитивно-лингвистический анализ Watson Tone Analyzer для определения разнообразных тонов как на уровне предложения, так и на уровне документа

Поток

1. Пользователь загружает записанный видеофайл виртуальной встречи или виртуального класса.
2. Библиотека FFmpeg извлекает аудио из видеофайла.
3. Служба Watson Speech To Text транскрибирует звук, чтобы получить текстовый вывод с диаризацией.
4. (Необязательно) Служба Watson Language Translator переводит другие языки в английскую расшифровку.
5. Watson Tone Analyzer анализирует транскрипт и выбирает самые положительные отзывы из транскрипта.
6. Watson Natural Language Understanding читает стенограмму, чтобы определить ключевые указатели и получить чувства и эмоции.
7. Ключевые указатели и резюме видео представлены пользователю в приложении.
8. Пользователь может загрузить текстовую информацию.

инструкции

Найти подробные шаги в README файл. Эти шаги объясняют, как:

1. Клонируйте репозиторий GitHub.
2. Добавьте учетные данные в приложение.
3. Разверните приложение.
4. Запуск приложения.

Этот шаблон кода является частью Извлечение идей из видео с помощью IBM Watson серия прецедентов, в которой показано решение для извлечения значимых данных из видео с использованием служб Watson Speech to Text, обработки естественного языка Watson и служб Watson Tone Analyzer.