Microsoft Research trener nevrale nettverk for å forstå hva de leser

kilde: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Jeg startet nylig et nytt nyhetsbrev med fokus på AI-utdanning og har allerede over 50,000 abonnenter. TheSequence er et ikke-BS (som betyr ingen hype, ingen nyheter osv.) AI-fokusert nyhetsbrev som tar 5 minutter å lese. Målet er å holde deg oppdatert på maskinlæringsprosjekter, forskningsartikler og konsepter. Prøv det ved å abonnere nedenfor:

Machine Reading Comprehension (MRC) er en fremvoksende disiplin innen dyp læring. Fra et konseptuelt synspunkt fokuserer MRC på dyplæringsmodeller som kan svare på intelligente spørsmål om spesifikke tekstdokumenter. For mennesker er leseforståelse en innfødt kognitiv ferdighet utviklet siden de første skoledagene eller til og med før. Når vi leser en tekst, trekker vi instinktivt ut nøkkelideene som vil tillate oss å svare på fremtidige spørsmål om dette emnet. Når det gjelder kunstig intelligens (AI)-modeller, er denne ferdigheten fortsatt stort sett underutviklet.

Den første bredt vedtatte generasjonen av naturlig språkforståelse (NLU)-teknikker har hovedsakelig fokusert på å oppdage intensjoner og konsepter knyttet til en spesifikk setning. Vi kan tenke på disse modellene som et første nivå av kunnskap for å muliggjøre leseforståelse. Full maskinell leseforståelse trenger imidlertid flere byggeklosser som kan ekstrapolere og korrelere spørsmål til bestemte deler av en tekst og bygge kunnskap fra bestemte deler av et dokument.

En av de største utfordringene i MRC-domenet er at de fleste modellene er basert på veiledet opplæring med datasett som inneholder ikke bare dokumentene, men potensielle spørsmål og svar. Som du kan forestille deg, er denne tilnærmingen ikke bare veldig vanskelig å skalere, men praktisk talt umulig å implementere i noen domener der dataene rett og slett ikke er tilgjengelige. Nylig foreslo forskere fra Microsoft en interessant tilnærming for å håndtere denne utfordringen i MRC-algoritmer.

I et papir med tittel "To-trinns syntesenettverk for overføringslæring i maskinforståelse", introduserte Microsofts Research en teknikk kalt to-trinns syntesenettverk eller SynNet som gjelder overføringslæring for å redusere innsatsen for å trene en MRC-modell. SynNet kan sees på som en tofasetilnærming for å bygge kunnskap knyttet til en spesifikk tekst. I den første fasen, SynNet lærer et generelt mønster for å identifisere potensielle "interessante" i et tekstdokument. Dette er sentrale kunnskapspunkter, navngitte enheter eller semantiske konsepter som vanligvis er svar som folk kan spørre etter. Så, i det andre trinnet, lærer modellen å danne naturlige språkspørsmål rundt disse potensielle svarene, innenfor konteksten av artikkelen.

Det fascinerende med SynNet er at, når den er trent, kan en modell brukes på et nytt domene, lese dokumentene i det nye domenet og deretter generere pseudospørsmål og svar mot disse dokumentene. Deretter danner den nødvendige opplæringsdata for å trene et MRC-system for det nye domenet, som kan være en ny sykdom, en ansatthåndbok for et nytt selskap eller en ny produktmanual.

Mange forbinder feilaktig MRC-teknikk med det mer utviklede feltet for maskinoversettelse. Når det gjelder MRC-modeller som f.eks SynNet, er utfordringen at de trenger å syntetisere begge spørsmålene og svar for et dokument. Mens spørsmålet er en syntaktisk flytende naturlig språksetning, er svaret stort sett et fremtredende semantisk konsept i avsnittet, for eksempel en navngitt enhet, en handling eller et tall. Siden svaret har en annen språklig struktur enn spørsmålet, kan det være mer hensiktsmessig å se på svar og spørsmål som to forskjellige typer data. SynNet materialiserer seg i den teorien ved å dekomponere prosessen med å generere spørsmål-svar-par i to grunnleggende trinn: Svargenereringen betinget av avsnittet og spørsmålsgenereringen betinget av avsnittet og svaret.

Bildekreditt: Microsoft Research

Du kan tenke deg om SynNet som en lærer som er veldig flink til å generere spørsmål fra dokumenter basert på sin erfaring. Ettersom den lærer om de relevante spørsmålene i ett domene, kan den bruke de samme mønstrene på dokumenter i et nytt domene. Microsoft-forskere har brukt prinsippene for SynNet til forskjellige MRC-modeller, inkludert de nylig publiserte ReasoNet som har vist mye lovende for å gjøre maskinell leseforståelse til en realitet i nær fremtid.

 
original. Ompostet med tillatelse.

Relatert: