استخراج بینش از ویدیوها

خلاصه

در این الگوی کد، یاد بگیرید که چگونه یادداشت‌های یادداشت‌شده سخنران و گزارش‌های بینش معنی‌دار را با استفاده از IBM® Watson™ Speech To Text، پردازش زبان طبیعی Watson، و تجزیه و تحلیل آهنگ Watson هنگام هر ویدیویی استخراج کنید.

توضیحات:

در دنیایی تقریباً متصل، تمرکز بر کار یا تحصیل بسیار مهم است. مطالعات نشان می دهد که بسیاری از افراد در جلسات مجازی زنده یا جلسات کلاس مجازی پس از تقریبا 20 دقیقه تمرکز خود را از دست می دهند. بنابراین، بسیاری از جلسات و کلاس های درس مجازی ضبط می شود تا فرد بتواند بعداً آن را تماشا کند.

اگر بتوان این ضبط‌ها را تجزیه و تحلیل کرد و گزارش مفصلی از جلسه یا کلاس با استفاده از هوش مصنوعی (AI) تولید کرد، ممکن است کمک کند. این الگوی کد نحوه انجام این کار را توضیح می دهد. با توجه به ضبط ویدیویی از جلسه مجازی یا کلاس مجازی، نحوه استخراج صدا از یک فایل ویدیویی با استفاده از کتابخانه منبع باز FFmpeg، رونویسی صدا برای دریافت یادداشت های گوینده با زبان سفارشی آموزش داده شده و گفتار آکوستیک به مدل های متن را توضیح می دهد. و یک گزارش درک زبان طبیعی ایجاد کنید که شامل دسته، مفاهیم، ​​احساسات، موجودیت‌ها، کلمات کلیدی، احساسات، جملات مثبت برتر و ابرهای کلمه با استفاده از زمان اجرا Python Flask است.

پس از تکمیل الگوی کد، متوجه می شوید که چگونه:

• از سرویس Watson Speech to Text برای تبدیل صدای انسان به کلمه نوشتاری استفاده کنید
• استفاده از پردازش پیشرفته زبان طبیعی برای تجزیه و تحلیل متن و استخراج فراداده از محتوا مانند مفاهیم، ​​موجودیت ها، کلمات کلیدی، دسته ها، احساسات و احساسات
• از تحلیل زبان شناختی Watson Tone Analyzer برای شناسایی انواع صداها در سطح جمله و سند استفاده کنید.

جریان

1. کاربر یک فایل ویدئویی ضبط شده از جلسه مجازی یا کلاس مجازی را آپلود می کند.
2. کتابخانه FFmpeg صدا را از فایل ویدیویی استخراج می کند.
3. سرویس Watson Speech To Text صدا را رونویسی می‌کند تا خروجی متنی دیاری‌شده ارائه کند.
4. (اختیاری) سرویس مترجم زبان Watson زبان های دیگر را به رونوشت انگلیسی ترجمه می کند.
5. Watson Tone Analyzer رونوشت را تجزیه و تحلیل می کند و جملات مثبت برتر را از رونوشت می گیرد.
6. Watson Natural Language Understanding رونوشت را می خواند تا نکات کلیدی را شناسایی کند و احساسات و عواطف را دریافت کند.
7. نکات کلیدی و خلاصه ویدیو در برنامه به کاربر ارائه می شود.
8. کاربر می تواند بینش متنی را دانلود کند.

دستورالعمل ها

مراحل دقیق را در README فایل. این مراحل توضیح می دهند که چگونه:

1. مخزن GitHub را کلون کنید.
2. اعتبارنامه را به برنامه اضافه کنید.
3. برنامه را مستقر کنید.
4. برنامه را اجرا کنید.

این الگوی کد بخشی از استخراج بینش از ویدیوها با IBM Watson از سری موارد استفاده کنید، که راه حلی را برای استخراج بینش معنادار از ویدیوها با استفاده از خدمات Watson Speech to Text، Watson Natural Language Processing و Watson Tone Analyzer به نمایش می گذارد.