استخرج الرؤى من مقاطع الفيديو

نبذة عامة

في نمط التعليمات البرمجية هذا ، تعرف على كيفية استخراج الملاحظات التفصيلية للمتحدثين وتقارير الأفكار المفيدة باستخدام IBM® Watson ™ Speech To Text و Watson Natural Language Processing و Watson Tone Analysis عند منح أي فيديو.

الوصف

في عالم متصل فعليًا ، من المهم جدًا التركيز على العمل أو التعليم. تشير الدراسات إلى أن الكثير من الناس يفقدون تركيزهم في الاجتماعات الافتراضية المباشرة أو جلسات الفصل الافتراضي بعد 20 دقيقة تقريبًا. لذلك ، يتم تسجيل العديد من الاجتماعات والفصول الافتراضية حتى يتمكن الفرد من مشاهدتها لاحقًا.

قد يكون من المفيد أن يتم تحليل هذه التسجيلات ، ويتم إنشاء تقرير مفصل عن الاجتماع أو الفصل باستخدام الذكاء الاصطناعي (AI). يشرح نمط الكود هذا كيفية القيام بذلك. بالنظر إلى تسجيل فيديو للاجتماع الافتراضي أو الفصول الافتراضية ، فإنه يشرح كيفية استخراج الصوت من ملف فيديو باستخدام مكتبة FFmpeg مفتوحة المصدر ، ونقل الصوت للحصول على ملاحظات من المتحدث مع لغة مدربة خصيصًا وخطاب صوتي إلى نماذج نصية ، وأنشئ تقريرًا لفهم اللغة الطبيعية يتكون من الفئة والمفاهيم والعاطفة والكيانات والكلمات الرئيسية والمشاعر والجمل الإيجابية العليا وسحب الكلمات باستخدام وقت تشغيل Python Flask.

بعد إكمال نمط الكود ، أنت تفهم كيفية:

• استخدم خدمة Watson Speech to Text لتحويل الصوت البشري إلى كلمة مكتوبة
• استخدم معالجة اللغة الطبيعية المتقدمة لتحليل النص واستخراج البيانات الوصفية من المحتوى مثل المفاهيم والكيانات والكلمات الرئيسية والفئات والمشاعر والعاطفة
• استفد من التحليل اللغوي المعرفي لتحليل مجموعة متنوعة من نغمات واتسون على مستوى الجملة والمستند

التدفق

1. يقوم المستخدم بتحميل ملف فيديو مسجل للاجتماع الظاهري أو الفصل الافتراضي.
2. تستخرج مكتبة FFmpeg الصوت من ملف الفيديو.
3. تقوم خدمة Watson Speech To Text بنسخ الصوت لإعطاء إخراج نصي مرتبط.
4. (اختياريًا) تقوم خدمة Watson Language Translator بترجمة اللغات الأخرى إلى نص باللغة الإنجليزية.
5. يحلل Watson Tone Analyzer النص ويلتقط أهم العبارات الإيجابية من النص.
6. يقرأ Watson Natural Language Understanding النص لتحديد المؤشرات الرئيسية والحصول على المشاعر والعواطف.
7. يتم تقديم المؤشرات الرئيسية وملخص الفيديو للمستخدم في التطبيق.
8. يمكن للمستخدم تنزيل الرؤى النصية.

تعليمات

ابحث عن الخطوات التفصيلية في README ملف. تشرح هذه الخطوات كيفية:

1. استنساخ مستودع جيثب.
2. أضف بيانات الاعتماد إلى التطبيق.
3. نشر التطبيق.
4. قم بتشغيل التطبيق.

نمط الرمز هذا جزء من استخراج رؤى من مقاطع الفيديو باستخدام IBM Watson استخدم سلسلة الحالات ، التي تعرض الحل المتعلق باستخراج رؤى ذات معنى من مقاطع الفيديو باستخدام Watson Speech to Text و Watson Natural Language Processing و Watson Tone Analyzer.