Microsoft Research traint neurale netwerken om te begrijpen wat ze lezen

Bron: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Ik ben onlangs begonnen met een nieuwe nieuwsbrief focus op AI-onderwijs en heeft al meer dan 50,000 abonnees​ TheSequence is een no-BS (wat betekent geen hype, geen nieuws, enz.) AI-gerichte nieuwsbrief die 5 minuten duurt om te lezen. Het doel is om u op de hoogte te houden van machine learning-projecten, research papers en concepten. Probeer het alsjeblieft door je hieronder te abonneren:

Machine reading comprehension (MRC) is een opkomende discipline op het gebied van deep learning. Vanuit conceptueel oogpunt richt MRC zich op deep learning-modellen die intelligente vragen over specifieke tekstdocumenten kunnen beantwoorden. Voor mensen is begrijpend lezen een aangeboren cognitieve vaardigheid die is ontwikkeld sinds de begindagen van de school of zelfs daarvoor. Wanneer we een tekst lezen, halen we instinctief de belangrijkste ideeën eruit die ons in staat zullen stellen toekomstige vragen over dat onderwerp te beantwoorden. In het geval van modellen voor kunstmatige intelligentie (AI) is die vaardigheid nog grotendeels onderontwikkeld.

De eerste algemeen aanvaarde generatie technieken voor het begrijpen van natuurlijke talen (NLU) was vooral gericht op het detecteren van de intenties en concepten die verband houden met een specifieke zin. We kunnen deze modellen beschouwen als een eerste niveau van kennis om begrijpend lezen mogelijk te maken. Voor volledig machinaal leesbegrip zijn echter aanvullende bouwstenen nodig die vragen kunnen extrapoleren en correleren met specifieke delen van een tekst en kennis kunnen opbouwen uit specifieke delen van een document.

Een van de grootste uitdagingen in het MRC-domein is dat de meeste modellen gebaseerd zijn op training onder toezicht met datasets die niet alleen de documenten bevatten, maar ook potentiële vragen en antwoorden. Zoals u zich kunt voorstellen, is deze aanpak niet alleen erg moeilijk op te schalen, maar ook praktisch onmogelijk te implementeren in sommige domeinen waarin de gegevens eenvoudigweg niet beschikbaar zijn. Onlangs hebben onderzoekers van Microsoft een interessante aanpak voorgesteld om deze uitdaging in MRC-algoritmen aan te pakken.

In een document met de titel “Tweefasige synthesenetwerken voor transferleren in machinaal begrip”Microsoft's Research introduceerde een techniek die tweetrapssynthesenetwerken wordt genoemd SynNet dat transferleren toepast om de inspanning om een ​​MRC-model te trainen te verminderen. SynNet kan worden gezien als een tweefasenaanpak om kennis op te bouwen met betrekking tot een specifieke tekst. In de eerste fase, SynNet leert een algemeen patroon van het identificeren van potentiële “interessantheid” in een tekstdocument. Dit zijn belangrijke kennispunten, benoemde entiteiten of semantische concepten die meestal antwoorden zijn waar mensen om kunnen vragen. Vervolgens leert het model in de tweede fase vragen in natuurlijke taal te vormen rond deze mogelijke antwoorden, binnen de context van het artikel.

Het fascinerende aan SynNet is dat een model, eenmaal getraind, kan worden toegepast op een nieuw domein, de documenten in het nieuwe domein kan lezen en vervolgens pseudovragen en antwoorden op basis van deze documenten kan genereren. Vervolgens vormt het de noodzakelijke trainingsgegevens om een ​​MRC-systeem te trainen voor dat nieuwe domein, wat een nieuwe ziekte kan zijn, een werknemershandboek van een nieuw bedrijf of een nieuwe producthandleiding.

Veel mensen associëren de MRC-techniek ten onrechte met het meer ontwikkelde gebied van automatische vertaling. In het geval van MRC-modellen zoals SynNet, de uitdaging is dat ze beide vragen moeten synthetiseren en antwoorden voor een document. Hoewel de vraag een syntactisch vloeiende zin in natuurlijke taal is, is het antwoord meestal een opvallend semantisch concept in de alinea, zoals een benoemde entiteit, een actie of een getal. Omdat het antwoord een andere taalkundige structuur heeft dan de vraag, kan het passender zijn om antwoorden en vragen als twee verschillende soorten gegevens te beschouwen. SynNet komt in die theorie tot uiting door het proces van het genereren van vraag-antwoordparen in twee fundamentele stappen op te splitsen: het genereren van antwoorden afhankelijk van de paragraaf en het genereren van vragen afhankelijk van de paragraaf en het antwoord.

Beeldcredits: Microsoft Research

Je kunt erover nadenken SynNet als docent die heel goed is in het genereren van vragen uit documenten op basis van zijn ervaring. Terwijl het de relevante vragen in het ene domein leert kennen, kan het dezelfde patronen toepassen op documenten in een nieuw domein. Microsoft-onderzoekers hebben de principes van SynNet naar verschillende MRC-modellen, waaronder de onlangs gepubliceerde RedenNet die veel belofte hebben getoond om het begrijpen van machinaal lezen in de nabije toekomst werkelijkheid te maken.

 
ORIGINELE. Met toestemming opnieuw gepost.

Zie ook: