Microsoft Research tränar neurala nätverk för att förstå vad de läser

Källa: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Jag startade nyligen ett nytt nyhetsbrev med fokus på AI-utbildning och har redan över 50,000 XNUMX abonnenter. TheSequence är ett icke-BS (vilket betyder ingen hype, inga nyheter osv.) AI-fokuserat nyhetsbrev som tar 5 minuter att läsa. Målet är att hålla dig uppdaterad med maskininlärningsprojekt, forskningspapper och koncept. Pröva genom att prenumerera nedan:

Maskinläsförståelse (MRC) är en framväxande disciplin inom området djupinlärning. Ur en konceptuell synvinkel fokuserar MRC på modeller för djupinlärning som kan svara på intelligenta frågor om specifika textdokument. För människor är läsförståelse en infödd kognitiv färdighet som utvecklats sedan skolans tidiga dagar eller till och med tidigare. När vi läser en text, extraherar vi instinktivt nyckelidéerna som gör att vi kan svara på framtida frågor om ämnet. När det gäller modeller med artificiell intelligens (AI) är den färdigheten fortfarande till stor del underutvecklad.

Den första allmänt antagna generationen av naturligt språkförståelse (NLU)-tekniker har främst fokuserat på att upptäcka avsikter och begrepp som är förknippade med en specifik mening. Vi kan tänka på dessa modeller som en första kunskapsnivå för att möjliggöra läsförståelse. Full maskinell läsförståelse kräver dock ytterligare byggstenar som kan extrapolera och korrelera frågor till specifika avsnitt av en text och bygga kunskap från specifika avsnitt av ett dokument.

En av de största utmaningarna inom MRC-domänen är att de flesta modeller är baserade på övervakad utbildning med datauppsättningar som inte bara innehåller dokumenten utan även potentiella frågor och svar. Som du kan föreställa dig är detta tillvägagångssätt inte bara mycket svårt att skala utan praktiskt taget omöjligt att implementera i vissa domäner där data helt enkelt inte är tillgänglig. Nyligen föreslog forskare från Microsoft en intressant metod för att hantera denna utmaning i MRC-algoritmer.

I ett papper med titeln "Tvåstegs syntesnätverk för överföringsinlärning i maskinförståelse", Microsofts Research introducerade en teknik som kallas tvåstegs syntesnätverk eller SynNet som gäller transfer learning för att minska ansträngningen att träna en MRC-modell. SynNet kan ses som en tvåfasig metod för att bygga kunskap relaterad till en specifik text. I den första fasen, SynNet lär sig ett allmänt mönster för att identifiera potentiella "intressanta" i ett textdokument. Dessa är viktiga kunskapspunkter, namngivna enheter eller semantiska begrepp som vanligtvis är svar som människor kan fråga efter. Sedan, i det andra steget, lär sig modellen att forma naturliga språkfrågor kring dessa potentiella svar, inom ramen för artikeln.

Det fascinerande med SynNet är att, när den väl är utbildad, kan en modell appliceras på en ny domän, läsa dokumenten i den nya domänen och sedan generera pseudofrågor och svar mot dessa dokument. Sedan bildar den nödvändiga utbildningsdata för att träna ett MRC-system för den nya domänen, vilket kan vara en ny sjukdom, en personalhandbok för ett nytt företag eller en ny produktmanual.

Många människor associerar felaktigt MRC-teknik med det mer utvecklade området för maskinöversättning. När det gäller MRC-modeller som t.ex SynNet, utmaningen är att de måste syntetisera båda frågorna och svar för ett dokument. Även om frågan är en syntaktisk flytande mening i naturligt språk, är svaret mestadels ett framträdande semantiskt begrepp i stycket, såsom en namngiven enhet, en handling eller ett nummer. Eftersom svaret har en annan språklig struktur än frågan kan det vara lämpligare att se svar och frågor som två olika typer av data. SynNet materialiseras i den teorin genom att dela upp processen att generera fråga-svar-par i två grundläggande steg: Svarsgenereringen betingad av stycket och frågegenereringen betingad av stycket och svaret.

Bildkredit: Microsoft Research

Du kan tänka på SynNet som lärare som är väldigt bra på att generera frågor från dokument utifrån sin erfarenhet. När den lär sig om relevanta frågor i en domän kan den tillämpa samma mönster på dokument i en ny domän. Microsofts forskare har tillämpat principerna för SynNet till olika MRC-modeller inklusive de nyligen publicerade ReasoNet som har visat mycket lovande för att göra maskinell läsförståelse till verklighet inom en snar framtid.

 
Ursprungliga. Skickas om med tillstånd.

Relaterat: