Εξαγωγή πληροφοριών από βίντεο

Χαρακτηριστικά

Σε αυτό το μοτίβο κώδικα, μάθετε πώς να εξάγετε σημειώσεις με ημερολόγιο ομιλητών και σημαντικές αναφορές πληροφοριών χρησιμοποιώντας το IBM® Watson™ Speech To Text, Watson Natural Language Processing και Watson Tone Analysis όταν δίνεται οποιοδήποτε βίντεο.

Περιγραφή

Σε έναν ουσιαστικά συνδεδεμένο κόσμο, η παραμονή στην εργασία ή την εκπαίδευση είναι πολύ σημαντική. Μελέτες δείχνουν ότι πολλοί άνθρωποι χάνουν την εστίασή τους σε ζωντανές εικονικές συναντήσεις ή εικονικές συνεδρίες στην τάξη μετά από περίπου 20 λεπτά. Ως εκ τούτου, καταγράφονται πολλές συναντήσεις και εικονικές αίθουσες διδασκαλίας, ώστε ένα άτομο να μπορεί να το παρακολουθήσει αργότερα.

Θα μπορούσε να βοηθήσει εάν αυτές οι εγγραφές μπορούσαν να αναλυθούν και να δημιουργηθεί μια λεπτομερής αναφορά της συνάντησης ή της τάξης χρησιμοποιώντας τεχνητή νοημοσύνη (AI). Αυτό το μοτίβο κώδικα εξηγεί πώς να το κάνετε αυτό. Δεδομένης της εγγραφής βίντεο της εικονικής σύσκεψης ή της εικονικής τάξης, εξηγεί πώς μπορείτε να εξαγάγετε ήχο από ένα αρχείο βίντεο χρησιμοποιώντας τη βιβλιοθήκη ανοιχτού κώδικα FFmpeg, να μεταγράψετε τον ήχο για να λάβετε σημειώσεις από ομιλητές με προσαρμοσμένη γλώσσα και μοντέλα ακουστικής ομιλίας σε κείμενο. και δημιουργήστε μια αναφορά κατανόησης φυσικής γλώσσας που αποτελείται από την κατηγορία, τις έννοιες, το συναίσθημα, τις οντότητες, τις λέξεις-κλειδιά, το συναίσθημα, τις κορυφαίες θετικές προτάσεις και τα σύννεφα λέξεων χρησιμοποιώντας ένα χρόνο εκτέλεσης Python Flask.

Αφού ολοκληρώσετε το μοτίβο κώδικα, καταλαβαίνετε πώς:

• Χρησιμοποιήστε την υπηρεσία Watson Speech to Text για να μετατρέψετε την ανθρώπινη φωνή σε γραπτό λόγο
• Χρησιμοποιήστε προηγμένη επεξεργασία φυσικής γλώσσας για να αναλύσετε κείμενο και να εξαγάγετε μεταδεδομένα από περιεχόμενο όπως έννοιες, οντότητες, λέξεις-κλειδιά, κατηγορίες, συναισθήματα και συναισθήματα
• Leverage Watson Tone Analyzer γνωστική γλωσσική ανάλυση για τον προσδιορισμό μιας ποικιλίας τόνων τόσο σε επίπεδο πρότασης όσο και σε επίπεδο εγγράφου

Ροή

1. Ο χρήστης ανεβάζει ένα εγγεγραμμένο αρχείο βίντεο της εικονικής συνάντησης ή της εικονικής τάξης.
2. Η βιβλιοθήκη FFmpeg εξάγει ήχο από το αρχείο βίντεο.
3. Η υπηρεσία Watson Speech To Text μεταγράφει τον ήχο για να δώσει μια ημερολογιακή έξοδο κειμένου.
4. (Προαιρετικά) Η υπηρεσία Watson Language Translator μεταφράζει άλλες γλώσσες σε αγγλική μεταγραφή.
5. Το Watson Tone Analyzer αναλύει τη μεταγραφή και συλλέγει τις κορυφαίες θετικές δηλώσεις από τη μεταγραφή.
6. Το Watson Natural Language Understanding διαβάζει το αντίγραφο για να εντοπίσει βασικούς δείκτες και να πάρει τα συναισθήματα και τα συναισθήματα.
7. Οι βασικοί δείκτες και η περίληψη του βίντεο παρουσιάζονται στον χρήστη στην εφαρμογή.
8. Ο χρήστης μπορεί να πραγματοποιήσει λήψη των κειμενικών πληροφοριών.

Οδηγίες

Βρείτε τα λεπτομερή βήματα στο README αρχείο. Αυτά τα βήματα εξηγούν πώς:

1. Κλωνοποιήστε το αποθετήριο GitHub.
2. Προσθέστε τα διαπιστευτήρια στην εφαρμογή.
3. Αναπτύξτε την εφαρμογή.
4. Εκτελέστε την εφαρμογή.

Αυτό το μοτίβο κώδικα είναι μέρος του Εξαγωγή πληροφοριών από βίντεο με το IBM Watson χρησιμοποιήστε σειρά περιπτώσεων, η οποία παρουσιάζει τη λύση για την εξαγωγή σημαντικών πληροφοριών από βίντεο χρησιμοποιώντας τις υπηρεσίες Watson Speech to Text, Watson Natural Language Processing και Watson Tone Analyzer.