Microsoft Research навчає нейронні мережі розуміти, що вони читають

джерело: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Нещодавно я почав випускати новий інформаційний бюлетень, присвячений освіті в галузі штучного інтелекту вже має понад 50,000 XNUMX передплатників. TheSequence — це інформаційний бюлетень без BS (тобто без реклами, без новин тощо), зосереджений на штучному інтелекті, читання якого займає 5 хвилин. Мета – тримати вас в курсі проектів машинного навчання, наукових робіт та концепцій. Будь ласка, спробуйте, підписавшись нижче:

Машинне розуміння читання (MRC) — нова дисципліна в галузі глибокого навчання. З концептуальної точки зору MRC зосереджується на моделях глибокого навчання, які можуть відповідати на розумні запитання щодо конкретних текстових документів. Для людей розуміння прочитаного є вродженою когнітивною навичкою, яка розвивається з перших днів навчання в школі або навіть раніше. Коли ми читаємо текст, ми інстинктивно витягуємо ключові ідеї, які дозволять нам відповісти на майбутні запитання щодо цієї теми. У випадку з моделями штучного інтелекту (ШІ) ця навичка ще значною мірою недостатньо розвинена.

Перше широко поширене покоління методів розуміння природної мови (NLU) було зосереджено в основному на виявленні намірів і понять, пов’язаних із конкретним реченням. Ми можемо розглядати ці моделі як перший рівень знань, щоб забезпечити розуміння прочитаного. Однак повне машинне розуміння читання потребує додаткових будівельних блоків, які можуть екстраполювати та співвідносити запитання з конкретними розділами тексту та створювати знання з конкретних розділів документа.

Однією з найбільших проблем у сфері MRC є те, що більшість моделей базуються на навчанні під наглядом із наборами даних, які містять не лише документи, але й потенційні запитання та відповіді. Як ви можете собі уявити, цей підхід не тільки дуже важко масштабувати, але й практично неможливо реалізувати в деяких областях, у яких дані просто недоступні. Нещодавно дослідники з Microsoft запропонували цікавий підхід до вирішення цієї проблеми в алгоритмах MRC.

У статті з назвою «Мережі двоетапного синтезу для трансферного навчання в машинному розумінні»Дослідницька компанія Microsoft представила техніку, яка називається мережами двоетапного синтезу або SynNet який застосовує перенесення навчання, щоб зменшити зусилля для навчання моделі MRC. SynNet можна розглядати як двоетапний підхід до створення знань, пов’язаних із конкретним текстом. На першому етапі SynNet вивчає загальний шаблон визначення потенційної «цікавості» в текстовому документі. Це ключові знання, іменовані сутності або семантичні концепції, які зазвичай є відповідями, які люди можуть запитати. Потім, на другому етапі, модель вчиться формувати запитання природною мовою навколо цих потенційних відповідей у ​​контексті статті.

Цікава річ про SynNet полягає в тому, що після навчання модель може бути застосована до нового домену, читати документи в новому домені, а потім генерувати псевдопитання та відповіді на ці документи. Потім він формує необхідні навчальні дані для навчання системи MRC для цієї нової області, яка може бути новою хворобою, довідником для співробітників нової компанії або посібником з нового продукту.

Багато людей помилково асоціюють техніку MRC з більш розвиненою сферою машинного перекладу. У випадку моделей MRC, таких як SynNet, завдання полягає в тому, що їм потрібно синтезувати обидва запитання та  відповіді на документ. У той час як питання є синтаксично вільним реченням природної мови, відповідь переважно є помітною семантичною концепцією в абзаці, такою як названа сутність, дія чи число. Оскільки відповідь має іншу лінгвістичну структуру, ніж запитання, доречніше розглядати відповіді та запитання як два різних типи даних. SynNet матеріалізується в цій теорії шляхом розкладання процесу генерування пар запитання-відповідь на два фундаментальні кроки: генерація відповіді на основі абзацу та генерація запитання на основі абзацу та відповіді.

Авторство зображення: Microsoft Research

Можна подумати SynNet як викладач, який дуже добре вміє генерувати запитання з документів на основі свого досвіду. Коли він дізнається про релевантні запитання в одному домені, він може застосувати ті самі шаблони до документів у новому домені. Дослідники Microsoft застосували принципи SynNet до різних моделей MRC, включаючи нещодавно опубліковані ReasoNet які показали багато перспектив, щоб зробити машинне розуміння читання реальністю в найближчому майбутньому.

 
Оригінал. Повідомлено з дозволу.

За темою: