Microsoft Research usposoblja nevronska omrežja, da razumejo, kaj berejo

vir: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Pred kratkim sem začel novo glasilo, ki se osredotoča na izobraževanje o umetni inteligenci in že ima več kot 50,000 naročnikov. TheSequence je no-BS (kar pomeni brez hype, novic itd.) Glasilo, usmerjeno v umetno inteligenco, ki ga je treba prebrati v 5 minutah. Cilj je biti na tekočem s projekti strojnega učenja, raziskovalnimi prispevki in koncepti. Poskusite tako, da se naročite spodaj:

Strojno bralno razumevanje (MRC) je nastajajoča disciplina na področju globokega učenja. S konceptualnega vidika se MRC osredotoča na modele globokega učenja, ki lahko odgovorijo na inteligentna vprašanja o določenih besedilnih dokumentih. Za ljudi je bralno razumevanje domača kognitivna veščina, ki se je razvila že od zgodnjih šolskih dni ali celo prej. Ko beremo besedilo, instinktivno izluščimo ključne ideje, ki nam bodo omogočile odgovoriti na prihodnja vprašanja o tej temi. V primeru modelov umetne inteligence (AI) je ta veščina še vedno v veliki meri premalo razvita.

Prva široko sprejeta generacija tehnik razumevanja naravnega jezika (NLU) se je osredotočila predvsem na odkrivanje namenov in konceptov, povezanih z določenim stavkom. O teh modelih lahko razmišljamo kot o prvi stopnji znanja, ki omogoča bralno razumevanje. Vendar pa popolno strojno bralno razumevanje potrebuje dodatne gradnike, ki lahko ekstrapolirajo in povežejo vprašanja z določenimi deli besedila ter gradijo znanje iz določenih delov dokumenta.

Eden največjih izzivov na področju MRC je, da večina modelov temelji na nadzorovanem usposabljanju z nabori podatkov, ki ne vsebujejo samo dokumentov, ampak tudi potencialna vprašanja in odgovore. Kot si lahko predstavljate, tega pristopa ni le zelo težko prilagoditi, ampak ga je praktično nemogoče izvesti na nekaterih področjih, kjer podatki preprosto niso na voljo. Pred kratkim so raziskovalci iz Microsofta predlagali zanimiv pristop za reševanje tega izziva v algoritmih MRC.

V prispevku z naslovom "Dvostopenjska sintezna omrežja za prenos učenja pri strojnem razumevanju", Microsoftova raziskava je uvedla tehniko, imenovano two stage synthesis networks oz SynNet ki uporablja prenos učenja za zmanjšanje truda pri usposabljanju modela MRC. SynNet lahko razumemo kot dvofazni pristop za gradnjo znanja, povezanega z določenim besedilom. V prvi fazi je SynNet se nauči splošnega vzorca prepoznavanja potencialne »zanimivosti« v besedilnem dokumentu. To so ključne točke znanja, imenovane entitete ali semantični koncepti, ki so običajno odgovori, ki jih lahko ljudje vprašajo. Nato se v drugi fazi model nauči oblikovati vprašanja naravnega jezika okoli teh potencialnih odgovorov v kontekstu članka.

Fascinantna stvar o SynNet je, da se lahko model, ko je enkrat usposobljen, uporabi za novo domeno, prebere dokumente v novi domeni in nato ustvari psevdo vprašanja in odgovore glede na te dokumente. Nato oblikuje potrebne podatke za usposabljanje za usposabljanje sistema MRC za to novo področje, ki je lahko nova bolezen, priročnik za zaposlene v novem podjetju ali priročnik za nov izdelek.

Mnogi ljudje zmotno povezujejo tehniko MRC z bolj razvitim področjem strojnega prevajanja. Pri modelih MRC, kot je npr SynNet, je izziv v tem, da morajo sintetizirati obe vprašanji in odgovori za dokument. Medtem ko je vprašanje skladenjsko tekoč stavek naravnega jezika, je odgovor večinoma izrazit semantični koncept v odstavku, kot je imenovana entiteta, dejanje ali število. Ker ima odgovor drugačno jezikovno strukturo kot vprašanje, je morda bolj primerno, da na odgovore in vprašanja gledamo kot na dve različni vrsti podatkov. SynNet materializira v tej teoriji z razgradnjo procesa generiranja parov vprašanje-odgovor na dva temeljna koraka: generiranje odgovora, pogojenega z odstavkom, in generiranje vprašanja, pogojenega z odstavkom in odgovorom.

Zasluge za sliko: Microsoft Research

Lahko pomislite SynNet kot učitelj, ki je zelo dober pri ustvarjanju vprašanj iz dokumentov na podlagi svojih izkušenj. Ko spozna ustrezna vprašanja v eni domeni, lahko uporabi iste vzorce za dokumente v novi domeni. Microsoftovi raziskovalci so uporabili načela SynNet na različne modele MRC, vključno z nedavno objavljenim ReasoNet ki so veliko obetale, da bi strojno branje v bližnji prihodnosti postalo resničnost.

 
prvotni. Poročeno z dovoljenjem.

Povezano: