A Microsoft Research betanítja a neurális hálózatokat, hogy megértsék, mit olvasnak

Forrás: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Nemrég elkezdtem egy új hírlevelet, amely a mesterséges intelligencia oktatásával foglalkozik és már több mint 50,000 XNUMX feliratkozója van. A TheSequence egy no-BS (azaz nincs hype, nincs hír stb.) AI-központú hírlevél, amelynek elolvasása 5 percet vesz igénybe. A cél az, hogy naprakész legyen a gépi tanulási projektekkel, kutatási dokumentumokkal és koncepciókkal kapcsolatban. Kérjük, próbálja ki az alábbi feliratkozással:

A gépi olvasásértés (MRC) a mély tanulás területén feltörekvő tudományág. Koncepcionális szempontból az MRC a mély tanulási modellekre összpontosít, amelyek megválaszolhatják az adott szöveges dokumentumokkal kapcsolatos intelligens kérdéseket. Az emberek számára a szövegértés egy őshonos kognitív készség, amelyet az iskola első napjaitól kezdve vagy még azelőtt fejlesztettek ki. Szöveg olvasásakor ösztönösen kibontjuk azokat a kulcsfontosságú ötleteket, amelyek lehetővé teszik számunkra, hogy megválaszoljuk a témával kapcsolatos jövőbeli kérdéseket. A mesterséges intelligencia (AI) modellek esetében ez a képesség még mindig nagyrészt fejletlen.

A természetes nyelv megértésének (NLU) technikáinak első széles körben elfogadott generációja főként egy adott mondathoz kapcsolódó szándékok és fogalmak észlelésére összpontosított. Úgy tekinthetünk ezekre a modellekre, mint az első szintű tudásszintre, amely lehetővé teszi a szövegértést. A teljes gépi olvasásértéshez azonban további építőelemekre van szükség, amelyek extrapolálhatják és korrelálhatják a kérdéseket a szöveg meghatározott részeihez, és tudást építhetnek a dokumentum meghatározott szakaszaiból.

Az egyik legnagyobb kihívás az MRC területén, hogy a legtöbb modell felügyelt képzésen alapul, olyan adatkészletekkel, amelyek nemcsak a dokumentumokat, hanem a lehetséges kérdéseket és válaszokat is tartalmazzák. Elképzelhető, hogy ezt a megközelítést nemcsak nagyon nehéz skálázni, hanem gyakorlatilag lehetetlen megvalósítani bizonyos területeken, ahol az adatok egyszerűen nem állnak rendelkezésre. A közelmúltban a Microsoft kutatói egy érdekes megközelítést javasoltak ennek a kihívásnak az MRC algoritmusokban történő kezelésére.

Egy címû cikkben „Kétlépcsős szintézis hálózatok az átviteli tanuláshoz a gépi megértésben”, a Microsoft kutatása bevezette a kétlépcsős szintézis hálózatok vagy SynNet amely az átviteli tanulást alkalmazza az MRC-modell betanítására irányuló erőfeszítések csökkentésére. SynNet kétfázisú megközelítésnek tekinthető egy adott szöveghez kapcsolódó tudás felépítésére. Az első fázisban, SynNet megtanul egy általános mintát a lehetséges „érdekesség” azonosítására egy szöveges dokumentumban. Ezek kulcsfontosságú tudáspontok, elnevezett entitások vagy szemantikai fogalmak, amelyek általában olyan válaszok, amelyeket az emberek kérhetnek. Ezután a második szakaszban a modell megtanul természetes nyelvi kérdéseket alkotni e lehetséges válaszok köré, a cikk kontextusában.

A lenyűgöző dolog SynNet az, hogy a betanítás után egy modell alkalmazható egy új tartományra, beolvassa az új tartomány dokumentumait, majd pszeudo kérdéseket és válaszokat generál ezekre a dokumentumokra. Ezután létrehozza a szükséges képzési adatokat az új tartomány MRC rendszerének betanításához, amely lehet egy új betegség, egy új vállalat alkalmazotti kézikönyve vagy egy új termék kézikönyve.

Sokan tévesen az MRC technikát a gépi fordítás fejlettebb területéhez kötik. Az MRC modellek esetében, mint pl SynNet, a kihívás az, hogy mindkét kérdést szintetizálniuk kell és a válaszok egy dokumentumra. Míg a kérdés egy szintaktikailag gördülékeny természetes nyelvű mondat, a válasz többnyire egy kiemelkedő szemantikai fogalom a bekezdésben, például egy megnevezett entitás, egy cselekvés vagy egy szám. Mivel a válasz nyelvi szerkezete eltér a kérdéstől, célszerűbb lehet a válaszokat és kérdéseket két különböző adattípusként tekinteni. SynNet abban az elméletben valósul meg, hogy a kérdés-felelet párok generálásának folyamatát két alapvető lépésre bontja: a bekezdéshez kötött válaszgenerálásra, valamint a bekezdéstől és a választól függő kérdésgenerálásra.

A kép forrása: Microsoft Research

El lehet gondolkodni SynNet olyan tanárként, aki tapasztalatai alapján nagyon jól tud kérdéseket generálni dokumentumokból. Amint megismeri a releváns kérdéseket egy tartományban, ugyanazokat a mintákat alkalmazhatja egy új tartomány dokumentumaira. A Microsoft kutatói az elveket alkalmazták SynNet különböző MRC modellekhez, beleértve a nemrégiben közzétett modelleket is ReasoNet amelyek sok ígéretet tettek a közeljövőben a gépi olvasás-szövegértés valósággá tételében.

 
eredeti. Engedéllyel újra közzétéve.

Kapcsolódó: