Microsoft Research antrenează rețelele neuronale pentru a înțelege ceea ce citesc

Sursa: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Recent am început un nou buletin informativ axat pe educația AI și are deja peste 50,000 de abonați. TheSequence este un buletin informativ axat pe no-BS (adică fără hype, fără știri etc.), care durează 5 minute pentru a fi citit. Scopul este să vă țină la curent cu proiectele de învățare automată, lucrările de cercetare și conceptele. Vă rugăm să încercați abonându-vă mai jos:

Înțelegerea lecturii automate (MRC) este o disciplină emergentă în domeniul învățării profunde. Din punct de vedere conceptual, MRC se concentrează pe modele de învățare profundă care pot răspunde la întrebări inteligente despre anumite documente text. Pentru oameni, înțelegerea citirii este o abilitate cognitivă nativă dezvoltată încă din primele zile ale școlii sau chiar înainte. Când citim un text, extragem instinctiv ideile cheie care ne vor permite să răspundem la întrebările viitoare despre acel subiect. În cazul modelelor de inteligență artificială (AI), această abilitate este încă în mare parte subdezvoltată.

Prima generație de tehnici de înțelegere a limbajului natural (NLU) adoptată pe scară largă s-a concentrat în principal pe detectarea intențiilor și conceptelor asociate cu o anumită propoziție. Ne putem gândi la aceste modele ca la un prim nivel de cunoștințe pentru a permite înțelegerea lecturii. Cu toate acestea, înțelegerea completă a citirii automate necesită blocuri suplimentare care pot extrapola și corela întrebările la anumite secțiuni ale unui text și pot construi cunoștințe din anumite secțiuni ale unui document.

Una dintre cele mai mari provocări în domeniul MRC este că majoritatea modelelor se bazează pe instruire supravegheată cu seturi de date care conțin nu numai documentele, ci și întrebări potențiale și răspunsuri. După cum vă puteți imagina, această abordare nu este doar foarte dificil de scalat, dar practic imposibil de implementat în unele domenii în care datele pur și simplu nu sunt disponibile. Recent, cercetătorii de la Microsoft au propus o abordare interesantă pentru a face față acestei provocări în algoritmii MRC.

Într-o lucrare intitulată „Rețele de sinteză în două etape pentru învățarea prin transfer în înțelegerea mașinii”, Microsoft's Research a introdus o tehnică numită rețele de sinteză în două etape sau SynNet care aplică învățarea prin transfer pentru a reduce efortul de a antrena un model MRC. SynNet poate fi văzută ca o abordare în două faze pentru a construi cunoștințe legate de un text specific. In prima faza, SynNet învață un model general de identificare a potențialului „interesant” într-un document text. Acestea sunt puncte cheie de cunoștințe, entități numite sau concepte semantice care sunt de obicei răspunsuri pe care oamenii le pot cere. Apoi, în a doua etapă, modelul învață să formeze întrebări de limbaj natural în jurul acestor răspunsuri potențiale, în contextul articolului.

Lucrul fascinant despre SynNet este că, odată instruit, un model poate fi aplicat unui nou domeniu, citiți documentele din noul domeniu și apoi generați pseudo întrebări și răspunsuri împotriva acestor documente. Apoi, formează datele de instruire necesare pentru a antrena un sistem MRC pentru acel nou domeniu, care ar putea fi o nouă boală, un manual al angajaților unei noi companii sau un manual de produs nou.

Mulți oameni asociază în mod eronat tehnica MRC cu domeniul mai dezvoltat al traducerii automate. În cazul modelelor MRC precum SynNet, provocarea este că trebuie să sintetizeze ambele întrebări și răspunsuri pentru un document. În timp ce întrebarea este o propoziție în limbaj natural fluent din punct de vedere sintactic, răspunsul este în mare parte un concept semantic important din paragraf, cum ar fi o entitate numită, o acțiune sau un număr. Deoarece răspunsul are o structură lingvistică diferită de întrebarea, poate fi mai potrivit să vedeți răspunsurile și întrebările ca două tipuri diferite de date. SynNet se concretizează în acea teorie prin descompunerea procesului de generare a perechilor întrebare-răspuns în două etape fundamentale: Generarea răspunsului condiționat de paragraful și generarea întrebării condiționată de paragraful și răspunsul.

Credit imagine: Microsoft Research

Te poți gândi la SynNet ca profesor care se pricepe foarte bine la a genera întrebări din documente pe baza experienței sale. Pe măsură ce învață despre întrebările relevante dintr-un domeniu, poate aplica aceleași modele documentelor dintr-un domeniu nou. Cercetătorii Microsoft au aplicat principiile SynNet la diferite modele MRC, inclusiv cele publicate recent ReasoNet care s-au arătat foarte promițători pentru a face din înțelegerea citirii automate o realitate în viitorul apropiat.

 
Original. Repostat cu permisiunea.

Related: