Extrair informações de vídeos

Resumo

Neste padrão de código, aprenda como extrair anotações diárias do locutor e relatórios de insights significativos usando o IBM® Watson ™ Speech To Text, Watson Natural Language Processing e Watson Tone Analysis quando receber qualquer vídeo.

Descrição

Em um mundo virtualmente conectado, manter o foco no trabalho ou na educação é muito importante. Estudos sugerem que muitas pessoas perdem o foco em reuniões virtuais ao vivo ou sessões de sala de aula virtual após aproximadamente 20 minutos. Portanto, muitas reuniões e salas de aula virtuais são gravadas para que um indivíduo possa assistir depois.

Pode ajudar se essas gravações pudessem ser analisadas e um relatório detalhado da reunião ou aula fosse gerado usando inteligência artificial (IA). Este padrão de código explica como fazer isso. Dada uma gravação de vídeo da reunião virtual ou sala de aula virtual, ele explica como extrair áudio de um arquivo de vídeo usando a biblioteca de código aberto FFmpeg, transcrever o áudio para obter anotações do orador com linguagem personalizada e fala acústica para modelos de texto, e gerar um relatório de compreensão de linguagem natural que consiste na categoria, conceitos, emoção, entidades, palavras-chave, sentimento, frases positivas principais e nuvens de palavras usando um tempo de execução Python Flask.

Depois de completar o padrão de código, você entenderá como:

• Use o serviço Watson Speech to Text para converter a voz humana em palavra escrita
• Use o processamento avançado de linguagem natural para analisar texto e extrair metadados de conteúdo, como conceitos, entidades, palavras-chave, categorias, sentimento e emoção
• Aproveite a análise linguística cognitiva do Watson Tone Analyzer para identificar uma variedade de tons tanto no nível da frase quanto do documento

Fluxo

1. O usuário carrega um arquivo de vídeo gravado da reunião virtual ou sala de aula virtual.
2. A biblioteca FFmpeg extrai áudio do arquivo de vídeo.
3. O serviço Watson Speech To Text transcreve o áudio para fornecer uma saída textual diária.
4. (Opcionalmente) O serviço Watson Language Translator traduz outros idiomas para uma transcrição em inglês.
5. O Watson Tone Analyzer analisa a transcrição e coleta as principais afirmações positivas da transcrição.
6. O Watson Natural Language Understanding lê a transcrição para identificar os principais indicadores e obter os sentimentos e emoções.
7. As dicas principais e o resumo do vídeo são apresentados ao usuário no aplicativo.
8. O usuário pode baixar os insights textuais.

Instruções

Encontre as etapas detalhadas no README Arquivo. Essas etapas explicam como:

1. Clone o repositório GitHub.
2. Adicione as credenciais ao aplicativo.
3. Implante o aplicativo.
4. Execute o aplicativo.

Este padrão de código é parte do Extração de insights de vídeos com IBM Watson série de casos de uso, que mostra a solução para extrair insights significativos de vídeos usando os serviços Watson Speech to Text, Watson Natural Language Processing e Watson Tone Analyzer.