Trích xuất thông tin chi tiết từ video

Tổng kết

In this code pattern, learn how to extract speaker diarized notes and meaningful insights reports using IBM® Watson™ Speech To Text, Watson Natural Language Processing, and Watson Tone Analysis when given any video.

Mô tả

In a virtually connected world, staying focused on work or education is very important. Studies suggest that many people lose their focus in live virtual meetings or virtual classroom sessions after approximately 20 minutes. Therefore, many meetings and virtual classrooms are recorded so that an individual can watch it later.

It might help if these recordings could be analyzed, and a detailed report of the meeting or class is generated by using artificial intelligence (AI). This code pattern explains how to do that. Given a video recording of the virtual meeting or virtual classroom, it explains how to extract audio from a video file using the FFmpeg open source library, transcribe the audio to get speaker-diarized notes with custom-trained language and acoustic speech to text models, and generate a natural language understanding report that consists of the category, concepts, emotion, entities, keywords, sentiment, top positive sentences, and word clouds using a Python Flask runtime.

Sau khi hoàn thành mẫu mã, bạn hiểu cách:

• Use the Watson Speech to Text service to convert the human voice into the written word
• Sử dụng xử lý ngôn ngữ tự nhiên nâng cao để phân tích văn bản và trích xuất siêu dữ liệu từ nội dung như khái niệm, thực thể, từ khóa, danh mục, tình cảm và cảm xúc
• Tận dụng phân tích ngôn ngữ nhận thức của Watson Tone Analyzer để xác định nhiều loại giọng ở cả cấp độ câu và tài liệu

Dòng chảy

1. The user uploads a recorded video file of the virtual meeting or virtual classroom.
2. The FFmpeg library extracts audio from the video file.
3. The Watson Speech To Text service transcribes the audio to give a diarized textual output.
4. (Optionally) The Watson Language Translator service translates other languages into an English transcript.
5. Watson Tone Analyzer analyses the transcript and picks up the top positive statements from the transcript.
6. Watson Natural Language Understanding reads the transcript to identify key pointers and to get the sentiments and emotions.
7. The key pointers and summary of the video are presented to the user in the application.
8. The user can download the textual insights.

Hướng Dẫn

Tìm các bước chi tiết trong README tập tin. Các bước đó giải thích cách:

1. Sao chép kho lưu trữ GitHub.
2. Thêm thông tin đăng nhập vào ứng dụng.
3. Triển khai ứng dụng.
4. Chạy ứng dụng.

Mẫu mã này là một phần của Trích xuất thông tin chi tiết từ video với IBM Watson loạt ca sử dụng, giới thiệu giải pháp trích xuất thông tin chi tiết có ý nghĩa từ video bằng cách sử dụng các dịch vụ Watson Speech to Text, Watson Natural Language Processing và Watson Tone Analyzer.