Firma Microsoft Research szkoli sieci neuronowe, aby zrozumieć, co czytają

Źródło: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Niedawno rozpocząłem nowy biuletyn poświęcony edukacji AI i ma już ponad 50,000 XNUMX subskrybentów. TheSequence to biuletyn bez BS (co oznacza brak szumu, żadnych wiadomości itp.) Skupiony na sztucznej inteligencji newsletter, którego przeczytanie zajmuje 5 minut. Celem jest informowanie Cię na bieżąco o projektach uczenia maszynowego, artykułach badawczych i koncepcjach. Spróbuj, subskrybując poniżej:

Czytanie maszynowe ze zrozumieniem (MRC) to nowa dyscyplina w dziedzinie głębokiego uczenia się. Z koncepcyjnego punktu widzenia MRC koncentruje się na modelach głębokiego uczenia się, które mogą odpowiadać na inteligentne pytania dotyczące konkretnych dokumentów tekstowych. W przypadku ludzi czytanie ze zrozumieniem jest wrodzoną umiejętnością poznawczą rozwijaną od początków nauki w szkole lub nawet wcześniej. Czytając tekst, instynktownie wydobywamy z niego kluczowe myśli, które pozwolą nam odpowiedzieć na przyszłe pytania na ten temat. W przypadku modeli sztucznej inteligencji (AI) umiejętność ta jest nadal w dużym stopniu słabo rozwinięta.

Pierwsza powszechnie przyjęta generacja technik rozumienia języka naturalnego (NLU) skupiała się głównie na wykrywaniu intencji i koncepcji związanych z konkretnym zdaniem. Możemy myśleć o tych modelach jako o pierwszym poziomie wiedzy umożliwiającym czytanie ze zrozumieniem. Jednak pełne zrozumienie czytania maszynowego wymaga dodatkowych elementów, które mogą ekstrapolować i korelować pytania z określonymi sekcjami tekstu oraz budować wiedzę na podstawie określonych sekcji dokumentu.

Jednym z największych wyzwań w domenie MRC jest to, że większość modeli opiera się na nadzorowanym szkoleniu ze zbiorami danych, które zawierają nie tylko dokumenty, ale także potencjalne pytania i odpowiedzi. Jak można sobie wyobrazić, podejście to jest nie tylko bardzo trudne do skalowania, ale praktycznie niemożliwe do wdrożenia w niektórych dziedzinach, w których dane są po prostu niedostępne. Niedawno badacze z firmy Microsoft zaproponowali ciekawe podejście do poradzenia sobie z tym wyzwaniem w algorytmach MRC.

W artykule zatytułowanym „Dwustopniowe sieci syntezy do uczenia się transferowego w rozumieniu maszynowym”Firma Microsoft Research wprowadziła technikę zwaną dwustopniowymi sieciami syntezy lub SynNet który stosuje uczenie się transferowe w celu zmniejszenia wysiłku związanego z szkoleniem modelu MRC. SynNet można postrzegać jako dwufazowe podejście do budowania wiedzy związanej z konkretnym tekstem. W pierwszej fazie SynNet uczy się ogólnego wzorca identyfikowania potencjalnej „ciekawości” w dokumencie tekstowym. Są to kluczowe punkty wiedzy, nazwane byty lub koncepcje semantyczne, które zwykle są odpowiedziami, o które ludzie mogą zapytać. Następnie w drugim etapie model uczy się formułować pytania w języku naturalnym wokół potencjalnych odpowiedzi w kontekście artykułu.

Fascynująca rzecz nt SynNet polega na tym, że po przeszkoleniu model można zastosować w nowej domenie, przeczytać dokumenty w nowej domenie, a następnie wygenerować pseudo pytania i odpowiedzi na podstawie tych dokumentów. Następnie tworzy niezbędne dane szkoleniowe do szkolenia systemu MRC dla nowej domeny, którą może być nowa choroba, podręcznik pracownika nowej firmy lub podręcznik nowego produktu.

Wiele osób błędnie kojarzy technikę MRC z bardziej rozwiniętą dziedziną tłumaczenia maszynowego. W przypadku modeli MRC takich jak SynNetwyzwanie polega na tym, że muszą zsyntetyzować oba pytania i odpowiedzi do dokumentu. Chociaż pytanie jest syntaktycznie płynnym zdaniem w języku naturalnym, odpowiedzią jest głównie istotna koncepcja semantyczna w akapicie, taka jak nazwana jednostka, czynność lub liczba. Ponieważ odpowiedź ma inną strukturę językową niż pytanie, właściwsze może być postrzeganie odpowiedzi i pytań jako dwóch różnych typów danych. SynNet materializuje się w tej teorii poprzez rozkład procesu generowania par pytanie-odpowiedź na dwa zasadnicze etapy: generowanie odpowiedzi uwarunkowane akapitem oraz generowanie pytania uwarunkowane akapitem i odpowiedzią.

Źródło obrazu: Microsoft Research

Możesz pomyśleć SynNet jako nauczyciela, który na podstawie swojego doświadczenia bardzo dobrze potrafi generować pytania z dokumentów. Gdy dowie się o odpowiednich pytaniach w jednej domenie, może zastosować te same wzorce do dokumentów w nowej domenie. Badacze firmy Microsoft zastosowali zasady SynNet do różnych modeli MRC, łącznie z niedawno opublikowanym PowódNet które wykazały wiele nadziei w zakresie urzeczywistnienia czytania maszynowego w najbliższej przyszłości.

 
Oryginalny. Przesłane za zgodą.

Związane z: