Microsoft Research addestra le reti neurali a capire cosa leggono

Fonte: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Recentemente ho avviato una nuova newsletter incentrata sull'istruzione AI e ha già oltre 50,000 abbonati. TheSequence è una newsletter incentrata sull'intelligenza artificiale che richiede 5 minuti per la lettura. L'obiettivo è tenerti aggiornato su progetti di machine learning, documenti di ricerca e concetti. Per favore, provalo iscrivendoti di seguito:

La comprensione della lettura automatica (MRC) è una disciplina emergente nel campo del deep learning. Da un punto di vista concettuale, MRC si concentra su modelli di deep learning in grado di rispondere a domande intelligenti su documenti di testo specifici. Per gli esseri umani, la comprensione della lettura è un'abilità cognitiva nativa sviluppata sin dai primi giorni di scuola o anche prima. Mentre stiamo leggendo un testo, stiamo istintivamente estraendo le idee chiave che ci permetteranno di rispondere a future domande su quell'argomento. Nel caso dei modelli di intelligenza artificiale (AI), tale abilità è ancora in gran parte sottosviluppata.

La prima generazione ampiamente adottata di tecniche di comprensione del linguaggio naturale (NLU) si è concentrata principalmente sul rilevamento delle intenzioni e dei concetti associati a una frase specifica. Possiamo pensare a questi modelli come a un primo livello di conoscenza per consentire la comprensione della lettura. Tuttavia, la comprensione completa della lettura automatica richiede elementi costitutivi aggiuntivi in ​​grado di estrapolare e correlare le domande a sezioni specifiche di un testo e costruire conoscenze da sezioni specifiche di un documento.

Una delle maggiori sfide nel dominio MRC è che la maggior parte dei modelli si basa su una formazione supervisionata con set di dati che contengono non solo i documenti ma anche potenziali domande e risposte. Come puoi immaginare, questo approccio non solo è molto difficile da scalare, ma è praticamente impossibile da implementare in alcuni domini in cui i dati semplicemente non sono disponibili. Recentemente, i ricercatori di Microsoft hanno proposto un approccio interessante per affrontare questa sfida negli algoritmi MRC.

In un documento intitolato "Reti di sintesi a due stadi per il trasferimento dell'apprendimento nella comprensione automatica", Microsoft's Research ha introdotto una tecnica chiamata reti di sintesi a due stadi o SynNet che applica l'apprendimento del trasferimento per ridurre lo sforzo per addestrare un modello MRC. SynNet può essere visto come un approccio in due fasi per costruire conoscenze relative a un testo specifico. Nella prima fase, SynNet apprende un modello generale per identificare il potenziale "interesse" in un documento di testo. Questi sono punti di conoscenza chiave, entità denominate o concetti semantici che di solito sono risposte che le persone possono chiedere. Quindi, nella seconda fase, il modello impara a formare domande in linguaggio naturale attorno a queste potenziali risposte, nel contesto dell'articolo.

La cosa affascinante di SynNet è che, una volta formato, un modello può essere applicato a un nuovo dominio, leggere i documenti nel nuovo dominio e quindi generare pseudo domande e risposte contro questi documenti. Quindi, forma i dati di formazione necessari per addestrare un sistema MRC per quel nuovo dominio, che potrebbe essere una nuova malattia, un manuale del dipendente di una nuova azienda o un nuovo manuale di prodotto.

Molte persone associano erroneamente la tecnica MRC al campo più sviluppato della traduzione automatica. Nel caso di modelli MRC come SynNet, la sfida è che devono sintetizzare entrambe le domande ed risposte per un documento. Sebbene la domanda sia una frase del linguaggio naturale sintatticamente fluente, la risposta è principalmente un concetto semantico saliente nel paragrafo, come un'entità denominata, un'azione o un numero. Poiché la risposta ha una struttura linguistica diversa rispetto alla domanda, potrebbe essere più appropriato visualizzare le risposte e le domande come due diversi tipi di dati. SynNet si materializza in quella teoria scomponendo il processo di generazione delle coppie domanda-risposta in due passaggi fondamentali: la generazione della risposta condizionata al paragrafo e la generazione della domanda condizionata al paragrafo e alla risposta.

Credito immagine: Microsoft Research

Puoi pensare SynNet come insegnante che è molto bravo a generare domande da documenti in base alla sua esperienza. Man mano che apprende le domande pertinenti in un dominio, può applicare gli stessi modelli ai documenti in un nuovo dominio. I ricercatori Microsoft hanno applicato i principi di SynNet a diversi modelli MRC, incluso quello pubblicato di recente ReasonNet che hanno mostrato molte promesse nel rendere la comprensione della lettura automatica una realtà nel prossimo futuro.

 
Originale. Ripubblicato con il permesso.

Correlato: