Microsoft Research trainiert neuronale Netze, um zu verstehen, was sie lesen

Quelle: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Ich habe kürzlich einen neuen Newsletter gestartet, der sich auf KI-Bildung und KI konzentriert hat bereits über 50,000 Abonnenten. TheSequence ist ein No-BS-Newsletter (dh kein Hype, keine Nachrichten usw.), dessen Lesen 5 Minuten dauert. Ziel ist es, Sie über maschinelle Lernprojekte, Forschungsarbeiten und Konzepte auf dem Laufenden zu halten. Bitte probieren Sie es aus, indem Sie sich unten anmelden:

Machine Reading Comprehension (MRC) ist eine aufstrebende Disziplin im Bereich Deep Learning. Aus konzeptioneller Sicht konzentriert sich MRC auf Deep-Learning-Modelle, die intelligente Fragen zu bestimmten Textdokumenten beantworten können. Für den Menschen ist das Leseverstehen eine angeborene kognitive Fähigkeit, die seit der frühen Schulzeit oder sogar schon davor entwickelt wird. Wenn wir einen Text lesen, extrahieren wir instinktiv die Schlüsselideen, die es uns ermöglichen, zukünftige Fragen zu diesem Thema zu beantworten. Bei Modellen der künstlichen Intelligenz (KI) ist diese Fähigkeit noch weitgehend unterentwickelt.

Die erste weit verbreitete Generation von Techniken zum Verstehen natürlicher Sprache (NLU) konzentrierte sich hauptsächlich auf die Erkennung der Absichten und Konzepte, die mit einem bestimmten Satz verbunden sind. Wir können diese Modelle als eine erste Wissensebene betrachten, die das Leseverständnis ermöglicht. Für ein vollständiges maschinelles Leseverständnis sind jedoch zusätzliche Bausteine ​​erforderlich, die Fragen extrapolieren und mit bestimmten Abschnitten eines Textes korrelieren und Wissen aus bestimmten Abschnitten eines Dokuments aufbauen können.

Eine der größten Herausforderungen im MRC-Bereich besteht darin, dass die meisten Modelle auf überwachtem Training mit Datensätzen basieren, die nicht nur die Dokumente, sondern auch potenzielle Fragen und Antworten enthalten. Wie Sie sich vorstellen können, ist dieser Ansatz nicht nur sehr schwer zu skalieren, sondern in einigen Bereichen, in denen die Daten einfach nicht verfügbar sind, praktisch unmöglich umzusetzen. Kürzlich haben Forscher von Microsoft einen interessanten Ansatz zur Bewältigung dieser Herausforderung in MRC-Algorithmen vorgeschlagen.

In einer Zeitung mit dem Titel „Zweistufige Synthesenetzwerke für Transferlernen im maschinellen Verständnis“, Microsofts Forschung führte eine Technik ein, die als zweistufige Synthesenetzwerke bezeichnet wird SynNet das Transferlernen anwendet, um den Aufwand zum Trainieren eines MRC-Modells zu reduzieren. SynNet kann als zweistufiger Ansatz zum Aufbau von Wissen in Bezug auf einen bestimmten Text angesehen werden. In der ersten Phase SynNet erlernt ein allgemeines Muster zur Identifizierung von potenziellem „Interesse“ in einem Textdokument. Hierbei handelt es sich um wichtige Wissenspunkte, benannte Entitäten oder semantische Konzepte, bei denen es sich normalerweise um Antworten handelt, nach denen Menschen fragen. In der zweiten Phase lernt das Modell dann, im Kontext des Artikels Fragen in natürlicher Sprache um diese potenziellen Antworten herum zu bilden.

Das Faszinierende daran SynNet besteht darin, dass ein einmal trainiertes Modell auf eine neue Domäne angewendet werden kann, die Dokumente in der neuen Domäne liest und dann Pseudofragen und -antworten für diese Dokumente generiert. Anschließend werden die erforderlichen Trainingsdaten erstellt, um ein MRC-System für diesen neuen Bereich zu trainieren, bei dem es sich um eine neue Krankheit, ein Mitarbeiterhandbuch eines neuen Unternehmens oder ein neues Produkthandbuch handeln kann.

Viele Menschen assoziieren die MRC-Technik fälschlicherweise mit dem weiter entwickelten Bereich der maschinellen Übersetzung. Bei MRC-Modellen wie z SynNetDie Herausforderung besteht darin, dass beide Fragen zusammengefasst werden müssen und Antworten für ein Dokument. Während es sich bei der Frage um einen syntaktisch fließenden Satz in natürlicher Sprache handelt, handelt es sich bei der Antwort meist um ein hervorstechendes semantisches Konzept im Absatz, beispielsweise eine benannte Entität, eine Aktion oder eine Zahl. Da die Antwort eine andere sprachliche Struktur hat als die Frage, ist es möglicherweise angemessener, Antworten und Fragen als zwei verschiedene Datentypen zu betrachten. SynNet kommt in dieser Theorie zum Ausdruck, indem der Prozess der Generierung von Frage-Antwort-Paaren in zwei grundlegende Schritte zerlegt wird: Die vom Absatz abhängige Antwortgenerierung und die vom Absatz und der Antwort abhängige Fragegenerierung.

Bildnachweis: Microsoft Research

Sie können darüber nachdenken SynNet als Lehrer, der aufgrund seiner Erfahrung sehr gut darin ist, Fragen aus Dokumenten zu generieren. Wenn es die relevanten Fragen in einer Domäne kennenlernt, kann es dieselben Muster auf Dokumente in einer neuen Domäne anwenden. Microsoft-Forscher haben die Prinzipien von angewendet SynNet zu verschiedenen MRC-Modellen, einschließlich des kürzlich veröffentlichten ReasoNet die sich als vielversprechend erwiesen haben, um das maschinelle Leseverständnis in naher Zukunft Wirklichkeit werden zu lassen.

 
Original. Mit Genehmigung erneut veröffentlicht.

Related: