Microsoft Research træner neurale netværk til at forstå, hvad de læser

Kilde: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Jeg startede for nylig et nyt nyhedsbrev med fokus på AI-uddannelse og har allerede over 50,000 abonnenter. TheSequence er et no-BS (betyder ingen hype, ingen nyheder osv.) AI-fokuseret nyhedsbrev, der tager 5 minutter at læse. Målet er at holde dig opdateret med maskinlæringsprojekter, forskningsartikler og koncepter. Prøv det ved at abonnere nedenfor:

Maskinlæseforståelse (MRC) er en ny disciplin inden for deep learning. Fra et konceptuelt synspunkt fokuserer MRC på deep learning-modeller, der kan besvare intelligente spørgsmål om specifikke tekstdokumenter. For mennesker er læseforståelse en indfødt kognitiv færdighed, der er udviklet siden de tidlige skoledage eller endda før. Når vi læser en tekst, uddrager vi instinktivt de centrale ideer, som vil give os mulighed for at besvare fremtidige spørgsmål om dette emne. I tilfælde af kunstig intelligens (AI) modeller er denne færdighed stadig stort set underudviklet.

Den første udbredte generation af naturlig sprogforståelse (NLU) teknikker har fokuseret mest på at opdage intentioner og begreber forbundet med en specifik sætning. Vi kan tænke på disse modeller som et første niveau af viden for at muliggøre læseforståelse. Fuld maskinlæseforståelse kræver dog yderligere byggeklodser, der kan ekstrapolere og korrelere spørgsmål til specifikke sektioner af en tekst og opbygge viden fra specifikke sektioner af et dokument.

En af de største udfordringer i MRC-domænet er, at de fleste modeller er baseret på superviseret træning med datasæt, der ikke kun indeholder dokumenterne, men også potentielle spørgsmål og svar. Som du kan forestille dig, er denne tilgang ikke kun meget svær at skalere, men praktisk talt umulig at implementere i nogle domæner, hvor dataene simpelthen ikke er tilgængelige. For nylig foreslog forskere fra Microsoft en interessant tilgang til at håndtere denne udfordring i MRC-algoritmer.

I et papir med titlen "To-trins syntesenetværk til overførselslæring i maskinforståelse", introducerede Microsofts Research en teknik kaldet to-trins syntese netværk eller SynNet der anvender overførselslæring for at reducere indsatsen for at træne en MRC-model. SynNet kan ses som en tofaset tilgang til at opbygge viden relateret til en specifik tekst. I den første fase, SynNet lærer et generelt mønster for at identificere potentiel "interessanthed" i et tekstdokument. Disse er vigtige videnspunkter, navngivne entiteter eller semantiske begreber, som normalt er svar, som folk kan bede om. Derefter lærer modellen i anden fase at danne naturlige sprogspørgsmål omkring disse potentielle svar inden for artiklens kontekst.

Det fascinerende ved SynNet er, at en model, når den er blevet trænet, kan anvendes på et nyt domæne, læse dokumenterne i det nye domæne og derefter generere pseudospørgsmål og svar mod disse dokumenter. Derefter danner det de nødvendige træningsdata til at træne et MRC-system til det nye domæne, hvilket kunne være en ny sygdom, en medarbejderhåndbog for en ny virksomhed eller en ny produktmanual.

Mange mennesker forbinder fejlagtigt MRC-teknik med det mere udviklede område med maskinoversættelse. I tilfælde af MRC-modeller som f.eks SynNet, er udfordringen, at de skal syntetisere begge spørgsmål , svar til et dokument. Mens spørgsmålet er en syntaktisk flydende naturlig sprogsætning, er svaret for det meste et fremtrædende semantisk begreb i afsnittet, såsom en navngiven enhed, en handling eller et tal. Da svaret har en anden sproglig struktur end spørgsmålet, kan det være mere hensigtsmæssigt at se svar og spørgsmål som to forskellige typer data. SynNet materialiseres i den teori ved at dekomponere processen med at generere spørgsmål-svar-par i to grundlæggende trin: Svargenereringen betinget af afsnittet og spørgsmålsgenereringen betinget af afsnittet og svaret.

Billedkredit: Microsoft Research

Du kan tænke dig om SynNet som en lærer, der er meget god til at generere spørgsmål ud fra dokumenter baseret på sin erfaring. Når den lærer om de relevante spørgsmål i ét domæne, kan den anvende de samme mønstre på dokumenter i et nyt domæne. Microsoft-forskere har anvendt principperne for SynNet til forskellige MRC-modeller, herunder de nyligt offentliggjorte ReasoNet som har vist meget lovende for at gøre maskinlæseforståelse til virkelighed i den nærmeste fremtid.

 
Original. Genopslået med tilladelse.

Relateret: