Microsoft Research обучает нейронные сети понимать, что они читают

Источник: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Недавно я начал новый информационный бюллетень, посвященный образованию в области ИИ и уже имеет более 50,000 XNUMX подписчиков. TheSequence - это информационный бюллетень, ориентированный на искусственный интеллект (то есть без рекламы, без новостей и т. Д.), На чтение которого уходит 5 минут. Цель состоит в том, чтобы держать вас в курсе проектов, исследовательских работ и концепций машинного обучения. Пожалуйста, попробуйте, подписавшись ниже:

Понимание машинного чтения (MRC) - новая дисциплина в области глубокого обучения. С концептуальной точки зрения MRC фокусируется на моделях глубокого обучения, которые могут отвечать на интеллектуальные вопросы о конкретных текстовых документах. Для людей понимание прочитанного - это врожденный когнитивный навык, развиваемый с первых дней учебы в школе или даже раньше. Читая текст, мы инстинктивно извлекаем ключевые идеи, которые позволят нам ответить на будущие вопросы по этой теме. В случае моделей искусственного интеллекта (ИИ) этот навык все еще в значительной степени недостаточно развит.

Первое широко принятое поколение методов понимания естественного языка (NLU) было сосредоточено в основном на обнаружении намерений и концепций, связанных с конкретным предложением. Мы можем рассматривать эти модели как первый уровень знаний, обеспечивающий понимание прочитанного. Однако для полного понимания машинного чтения необходимы дополнительные строительные блоки, которые могут экстраполировать и соотносить вопросы с конкретными разделами текста и создавать знания из определенных разделов документа.

Одна из самых больших проблем в области MRC заключается в том, что большинство моделей основаны на контролируемом обучении с наборами данных, которые содержат не только документы, но и потенциальные вопросы и ответы. Как вы понимаете, этот подход не только очень сложно масштабировать, но и практически невозможно реализовать в некоторых областях, в которых данные просто недоступны. Недавно исследователи из Microsoft предложили интересный подход к решению этой проблемы в алгоритмах MRC.

В документе под заголовком «Двухэтапные сети синтеза для передачи обучения в машинном понимании», Microsoft Research представила технику, называемую сетями двухступенчатого синтеза или Синнет который применяет трансферное обучение, чтобы уменьшить усилия по обучению модели MRC. Синнет можно рассматривать как двухэтапный подход к накоплению знаний, связанных с конкретным текстом. На первом этапе Синнет изучает общую схему выявления потенциальной «интересности» в текстовом документе. Это ключевые точки знаний, именованные сущности или семантические концепции, которые обычно являются ответами, которые могут спросить люди. Затем, на втором этапе, модель учится формировать вопросы на естественном языке вокруг этих потенциальных ответов в контексте статьи.

Интересная вещь о Синнет состоит в том, что после обучения модель может быть применена к новому домену, читать документы в новом домене, а затем генерировать псевдо-вопросы и ответы на эти документы. Затем он формирует необходимые данные для обучения для обучения системы MRC для этой новой области, которая может быть новой болезнью, справочником для сотрудников новой компании или руководством по новому продукту.

Многие ошибочно связывают технику MRC с более развитой областью машинного перевода. В случае моделей MRC, таких как Синнет, проблема в том, что им нужно синтезировать оба вопроса и ответы на документ. Хотя вопрос является синтаксически понятным предложением на естественном языке, ответ в основном представляет собой заметное семантическое понятие в абзаце, такое как именованный объект, действие или число. Поскольку ответ имеет другую лингвистическую структуру, чем вопрос, может быть более подходящим рассматривать ответы и вопросы как два разных типа данных. Синнет материализуется в этой теории путем разложения процесса генерации пар вопрос-ответ на два основных этапа: генерация ответа, обусловленная абзацем, и генерация вопроса, обусловленная абзацем и ответом.

Кредит изображения: Microsoft Research

Вы можете думать о Синнет как учитель, который очень хорошо умеет генерировать вопросы из документов на основе своего опыта. Узнав о соответствующих вопросах в одном домене, он может применять те же шаблоны к документам в новом домене. Исследователи Microsoft применили принципы Синнет к различным моделям MRC, включая недавно опубликованные Реазонет которые показали многообещающие возможности сделать машинное чтение реальностью в ближайшем будущем.

 
Оригинал, Перемещено с разрешения.

Связанный: