Microsoft Research kouluttaa hermoverkkoja ymmärtämään lukemiaan

Lähde: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Aloitin äskettäin uuden uutiskirjeen, joka keskittyi tekoälyn koulutukseen ja on jo yli 50,000 tilaajaa. TheSequence on ei-BS (eli ei hypeä, ei uutisia jne.) Tekoälyyn keskittynyt uutiskirje, jonka lukeminen vie 5 minuuttia. Tavoitteena on pitää sinut ajan tasalla koneoppimisprojekteista, tutkimuspapereista ja konsepteista. Kokeile tilaamalla alla:

Konekielen ymmärtäminen (MRC) on uusi oppiaine syvällisen oppimisen alalla. Käsitteellisestä näkökulmasta MRC keskittyy syvällisiin oppimismalleihin, jotka voivat vastata älykkäisiin kysymyksiin tietyistä tekstidokumenteista. Ihmisille luetun ymmärtäminen on syntyperäinen kognitiivinen taito, joka on kehitetty koulun alkuaikoista lähtien tai jopa aikaisemmin. Luemme tekstiä vaistomaisesti avainkäsitteitä, joiden avulla voimme vastata tuleviin kysymyksiin aiheesta. Tekoälyn (AI) malleissa tämä taito on edelleen suurelta osin alikehittynyttä.

Ensimmäinen laajalti hyväksytty luontaisen kielen ymmärtämisen (NLU) tekniikan sukupolvi on keskittynyt lähinnä tiettyyn lauseeseen liittyvien aikomusten ja käsitteiden havaitsemiseen. Voimme ajatella näitä malleja ensimmäisenä tietotasona, joka mahdollistaa ymmärtämisen. Täydellinen koneenlukun ymmärtäminen vaatii kuitenkin muita rakennuspalikoita, jotka voivat ekstrapoloida ja korreloida kysymyksiä tekstin tiettyihin osiin ja kerätä tietoa asiakirjan tietyistä osista.

Yksi suurimmista haasteista MRC-alueella on se, että suurin osa malleista perustuu valvottuun koulutukseen, jossa on aineistoja, jotka sisältävät paitsi asiakirjoja myös mahdollisia kysymyksiä ja vastauksia. Kuten voitte kuvitella, tätä lähestymistapaa on paitsi erittäin vaikea skaalata, myös käytännössä mahdotonta toteuttaa joillakin aloilla, joilla tietoja ei yksinkertaisesti ole saatavilla. Äskettäin Microsoftin tutkijat ehdottivat mielenkiintoista lähestymistapaa tämän haasteen käsittelemiseksi MRC-algoritmeissa.

Paperissa, jonka otsikko on "Kaksivaiheiset synteesiverkot oppimisen siirtoon koneen ymmärtämisessä", Microsoftin tutkimus esitteli tekniikan nimeltä kaksivaiheiset synteesiverkot tai SynNet joka soveltaa siirto-oppimista MRC-mallin kouluttamisen vähentämiseksi. SynNet voidaan nähdä kaksivaiheisena lähestymistapana tiettyyn tekstiin liittyvän tiedon rakentamiseen. Ensimmäisessä vaiheessa SynNet oppii yleisen mallin mahdollisen "mielenkiintoisuuden" tunnistamiseksi tekstidokumentissa. Nämä ovat keskeisiä tietopisteitä, nimettyjä kokonaisuuksia tai semanttisia käsitteitä, jotka ovat yleensä vastauksia, joita ihmiset voivat pyytää. Sitten toisessa vaiheessa malli oppii muodostamaan luonnollisen kielen kysymyksiä näiden mahdollisten vastausten ympärille artikkelin yhteydessä.

Kiehtova asia SynNet on, että koulutettuaan mallia voidaan soveltaa uuteen verkkotunnukseen, lukea uuden verkkotunnuksen asiakirjat ja luoda sitten näennäiskysymyksiä ja vastauksia näitä asiakirjoja vastaan. Sitten se muodostaa tarvittavat koulutustiedot MRC-järjestelmän kouluttamiseksi tälle uudelle alueelle, mikä voi olla uusi sairaus, uuden yrityksen työntekijäkirja tai uusi tuotekäsikirja.

Monet ihmiset yhdistävät MRC-tekniikan virheellisesti konekäännöksen kehittyneempään alaan. MRC-mallien, kuten SynNet, haasteena on, että heidän on syntetisoitava molemmat kysymykset ja vastaukset asiakirjaan. Vaikka kysymys on syntaktisesti vaikuttava luonnollinen kielilause, vastaus on useimmiten kappaleen merkittävä semanttinen käsite, kuten nimetty kokonaisuus, toiminto tai luku. Koska vastauksella on erilainen kielellinen rakenne kuin kysymyksellä, voi olla tarkoituksenmukaisempaa tarkastella vastauksia ja kysymyksiä kahtena erityyppisenä datana. SynNet materialisoituu siinä teoriassa hajottamalla kysymys-vastaus-parien muodostamisprosessin kahteen perusvaiheeseen: Kappaleeseen ehdollistettu vastausten luominen ja kappaleen ja vastauksen ehdollistama kysymyssukupolvi.

Kuvahaku: Microsoft Research

Voit ajatella SynNet opettajana, joka on erittäin hyvä tuottamaan kysymyksiä kokemuksistaan ​​asiakirjoista. Kun se oppii yhden verkkotunnuksen asiaankuuluvista kysymyksistä, se voi käyttää samoja malleja uuden verkkotunnuksen asiakirjoihin. Microsoftin tutkijat ovat soveltaneet SynNet eri MRC-malleihin, mukaan lukien äskettäin julkaistut ReasoNet jotka ovat osoittaneet paljon lupauksia koneoppien ymmärtämisen toteuttamisesta lähitulevaisuudessa.

 
Alkuperäinen. Postitettu luvalla.

Related: