Η Microsoft Research εκπαιδεύει νευρωνικά δίκτυα για να κατανοήσει τι διαβάζουν

πηγή: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Πρόσφατα ξεκίνησα ένα νέο ενημερωτικό δελτίο με έμφαση στην εκπαίδευση AI και έχει ήδη περισσότερους από 50,000 συνδρομητές. Το TheSequence είναι ένα ενημερωτικό δελτίο με επίκεντρο AI που δεν χρειάζεται BS (που σημαίνει ότι δεν υπάρχει διαφημιστική εκστρατεία, δεν υπάρχει ειδήσεις κ.λπ.) που διαρκεί 5 λεπτά. Ο στόχος είναι να σας ενημερώνουμε με έργα μηχανικής μάθησης, ερευνητικά έγγραφα και έννοιες. Δοκιμάστε το κάνοντας εγγραφή παρακάτω:

Η μηχανική κατανόηση ανάγνωσης (MRC) είναι ένας αναδυόμενος κλάδος στον τομέα της βαθιάς μάθησης. Από εννοιολογική άποψη, το MRC εστιάζει σε μοντέλα βαθιάς μάθησης που μπορούν να απαντήσουν σε έξυπνες ερωτήσεις σχετικά με συγκεκριμένα έγγραφα κειμένου. Για τους ανθρώπους, η κατανόηση ανάγνωσης είναι μια εγγενής γνωστική δεξιότητα που αναπτύχθηκε από τις πρώτες μέρες του σχολείου ή ακόμα και πριν. Όταν διαβάζουμε ένα κείμενο, εξάγουμε ενστικτωδώς τις βασικές ιδέες που θα μας επιτρέψουν να απαντήσουμε σε μελλοντικές ερωτήσεις σχετικά με αυτό το θέμα. Στην περίπτωση των μοντέλων τεχνητής νοημοσύνης (AI), αυτή η ικανότητα εξακολουθεί να είναι σε μεγάλο βαθμό ανεπαρκώς ανεπτυγμένη.

Η πρώτη ευρέως αποδεκτή γενιά τεχνικών κατανόησης φυσικής γλώσσας (NLU) επικεντρώθηκε κυρίως στον εντοπισμό των προθέσεων και των εννοιών που σχετίζονται με μια συγκεκριμένη πρόταση. Μπορούμε να σκεφτούμε αυτά τα μοντέλα ως μια πρώτη βαθμίδα γνώσης που θα επιτρέψει την αναγνωστική κατανόηση. Ωστόσο, η πλήρης κατανόηση μηχανικής ανάγνωσης χρειάζεται πρόσθετα δομικά στοιχεία που μπορούν να προεκτείνουν και να συσχετίσουν ερωτήσεις σε συγκεκριμένες ενότητες ενός κειμένου και να δημιουργήσουν γνώσεις από συγκεκριμένες ενότητες ενός εγγράφου.

Μία από τις μεγαλύτερες προκλήσεις στον τομέα του MRC είναι ότι τα περισσότερα μοντέλα βασίζονται σε εποπτευόμενη εκπαίδευση με σύνολα δεδομένων που περιέχουν όχι μόνο τα έγγραφα αλλά πιθανές ερωτήσεις και απαντήσεις. Όπως μπορείτε να φανταστείτε, αυτή η προσέγγιση δεν είναι μόνο πολύ δύσκολο να κλιμακωθεί αλλά πρακτικά αδύνατο να εφαρμοστεί σε ορισμένους τομείς στους οποίους τα δεδομένα απλά δεν είναι διαθέσιμα. Πρόσφατα, ερευνητές από τη Microsoft πρότειναν μια ενδιαφέρουσα προσέγγιση για την αντιμετώπιση αυτής της πρόκλησης στους αλγόριθμους MRC.

Σε ένα άρθρο με τίτλο «Δίκτυα σύνθεσης δύο σταδίων για μάθηση μεταφοράς στη μηχανική κατανόηση», η Έρευνα της Microsoft εισήγαγε μια τεχνική που ονομάζεται δίκτυα σύνθεσης δύο σταδίων ή SynNet που εφαρμόζει τη μεταφορά μάθησης για να μειώσει την προσπάθεια εκπαίδευσης ενός μοντέλου MRC. SynNet μπορεί να θεωρηθεί ως μια προσέγγιση δύο φάσεων για τη δημιουργία γνώσης που σχετίζεται με ένα συγκεκριμένο κείμενο. Σε πρώτη φάση, SynNet μαθαίνει ένα γενικό μοτίβο εντοπισμού πιθανού «ενδιαφέροντος» σε ένα έγγραφο κειμένου. Αυτά είναι βασικά σημεία γνώσης, ονομαστικές οντότητες ή σημασιολογικές έννοιες που είναι συνήθως απαντήσεις που μπορεί να ζητήσουν οι άνθρωποι. Στη συνέχεια, στο δεύτερο στάδιο, το μοντέλο μαθαίνει να σχηματίζει ερωτήσεις φυσικής γλώσσας γύρω από αυτές τις πιθανές απαντήσεις, μέσα στο πλαίσιο του άρθρου.

Το συναρπαστικό με SynNet είναι ότι, αφού εκπαιδευτεί, ένα μοντέλο μπορεί να εφαρμοστεί σε έναν νέο τομέα, να διαβάσει τα έγγραφα στον νέο τομέα και στη συνέχεια να δημιουργήσει ψευδοερωτήσεις και απαντήσεις σε σχέση με αυτά τα έγγραφα. Στη συνέχεια, σχηματίζει τα απαραίτητα δεδομένα εκπαίδευσης για την εκπαίδευση ενός συστήματος MRC για αυτόν τον νέο τομέα, ο οποίος θα μπορούσε να είναι μια νέα ασθένεια, ένα εγχειρίδιο εργαζομένων μιας νέας εταιρείας ή ένα εγχειρίδιο νέου προϊόντος.

Πολλοί άνθρωποι λανθασμένα συνδέουν την τεχνική MRC με τον πιο ανεπτυγμένο τομέα της αυτόματης μετάφρασης. Στην περίπτωση των μοντέλων MRC όπως π.χ SynNet, η πρόκληση είναι ότι πρέπει να συνθέσουν και τις δύο ερωτήσεις και  απαντήσεις για ένα έγγραφο. Ενώ η ερώτηση είναι μια συντακτικά ευχάριστη πρόταση φυσικής γλώσσας, η απάντηση είναι ως επί το πλείστον μια σημαντική σημασιολογική έννοια στην παράγραφο, όπως μια ονομαστική οντότητα, μια ενέργεια ή ένας αριθμός. Δεδομένου ότι η απάντηση έχει διαφορετική γλωσσική δομή από την ερώτηση, ίσως είναι πιο κατάλληλο να δούμε τις απαντήσεις και τις ερωτήσεις ως δύο διαφορετικούς τύπους δεδομένων. SynNet υλοποιείται σε αυτή τη θεωρία με την αποσύνθεση της διαδικασίας δημιουργίας ζευγών ερώτησης-απάντησης σε δύο θεμελιώδη βήματα: Η παραγωγή απαντήσεων εξαρτάται από την παράγραφο και η δημιουργία ερωτήσεων που εξαρτάται από την παράγραφο και την απάντηση.

Πίστωση εικόνας: Microsoft Research

Μπορείτε να σκεφτείτε SynNet ως δάσκαλος που είναι πολύ καλός στο να δημιουργεί ερωτήσεις από έγγραφα με βάση την εμπειρία του. Καθώς μαθαίνει για τις σχετικές ερωτήσεις σε έναν τομέα, μπορεί να εφαρμόσει τα ίδια μοτίβα σε έγγραφα σε έναν νέο τομέα. Οι ερευνητές της Microsoft έχουν εφαρμόσει τις αρχές του SynNet σε διαφορετικά μοντέλα MRC, συμπεριλαμβανομένων των πρόσφατα δημοσιευμένων ReasoNet που έχουν δείξει πολλές υποσχέσεις για την πραγματοποίηση της μηχανικής κατανόησης ανάγνωσης στο εγγύς μέλλον.

 
Πρωτότυπο. Αναδημοσιεύτηκε με άδεια.

Συγγενεύων: