Microsoft Research는 신경망이 읽은 내용을 이해하도록 훈련시킵니다.

출처: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

저는 최근에 AI 교육에 대한 새로운 뉴스 레터를 시작했습니다. 이미 50,000 명 이상의 구독자가 있습니다.. TheSequence는 읽는 데 5 분이 소요되는 비 BS (과대 광고 없음, 뉴스 없음 등) AI 중심 뉴스 레터입니다. 목표는 기계 학습 프로젝트, 연구 논문 및 개념에 대한 최신 정보를 유지하는 것입니다. 아래에서 구독하여 사용해보세요.

기계 독해(MRC)는 딥 러닝 분야에서 새롭게 등장한 학문입니다. 개념적 관점에서 MRC는 특정 텍스트 문서에 대한 지능적인 질문에 대답할 수 있는 딥 러닝 모델에 중점을 둡니다. 인간에게 독해력은 학교 초창기나 그 이전부터 발달한 타고난 인지 능력입니다. 우리는 텍스트를 읽을 때 해당 주제에 대한 향후 질문에 답할 수 있는 핵심 아이디어를 본능적으로 추출합니다. 인공지능(AI) 모델의 경우, 그 기술은 아직까지 크게 미흡합니다.

최초로 널리 채택된 자연어 이해(NLU) 기술은 특정 문장과 관련된 의도와 개념을 탐지하는 데 중점을 두었습니다. 우리는 이러한 모델을 독해를 가능하게 하는 지식의 첫 번째 계층으로 생각할 수 있습니다. 그러나 완전한 기계 독해에는 질문을 텍스트의 특정 섹션과 연관시키고 문서의 특정 섹션에서 지식을 구축할 수 있는 추가 빌딩 블록이 필요합니다.

MRC 도메인의 가장 큰 과제 중 하나는 대부분의 모델이 문서뿐만 아니라 잠재적인 질문과 답변이 포함된 데이터 세트를 사용한 지도 학습을 기반으로 한다는 것입니다. 상상할 수 있듯이 이 접근 방식은 확장하기가 매우 어려울 뿐만 아니라 데이터를 사용할 수 없는 일부 영역에서는 구현하기가 사실상 불가능합니다. 최근 Microsoft 연구원들은 MRC 알고리즘에서 이러한 문제를 해결하기 위한 흥미로운 접근 방식을 제안했습니다.

제목이 적힌 논문 “기계 이해의 전이 학습을 위한 XNUMX단계 합성 네트워크”, Microsoft 연구에서는 XNUMX단계 합성 네트워크 또는 SynNet 이는 MRC 모델 학습 노력을 줄이기 위해 전이 학습을 적용합니다. SynNet 특정 텍스트와 관련된 지식을 구축하기 위한 XNUMX단계 접근 방식으로 볼 수 있습니다. 첫 번째 단계에서는 SynNet 텍스트 문서에서 잠재적인 "흥미로움"을 식별하는 일반적인 패턴을 학습합니다. 이는 일반적으로 사람들이 요청할 수 있는 답변인 핵심 지식 포인트, 명명된 엔터티 또는 의미론적 개념입니다. 그런 다음 두 번째 단계에서 모델은 기사의 맥락 내에서 이러한 잠재적 답변에 대한 자연어 질문을 형성하는 방법을 학습합니다.

에 대한 매혹적인 점 SynNet 즉, 일단 훈련되면 모델을 새 도메인에 적용하고 새 도메인의 문서를 읽은 다음 이러한 문서에 대한 의사 질문과 답변을 생성할 수 있다는 것입니다. 그런 다음 새로운 질병, 새로운 회사의 직원 핸드북 또는 신제품 매뉴얼이 될 수 있는 새로운 도메인에 대한 MRC 시스템을 훈련하는 데 필요한 훈련 데이터를 형성합니다.

많은 사람들이 MRC 기술을 보다 발전된 기계 번역 분야와 잘못 연관시키고 있습니다. 다음과 같은 MRC 모델의 경우 SynNet, 문제는 두 질문을 종합해야 한다는 것입니다. 과 문서에 대한 답변입니다. 질문은 구문적으로 유창한 자연어 문장이지만 대답은 대부분 명명된 엔터티, 작업 또는 숫자와 같은 단락의 두드러진 의미 개념입니다. 답변은 질문과 언어적 구조가 다르기 때문에 답변과 질문을 서로 다른 두 가지 유형의 데이터로 보는 것이 더 적절할 수 있습니다. SynNet 는 질문-답변 쌍을 생성하는 과정을 두 가지 기본 단계, 즉 문단을 조건으로 한 답변 생성과 문단과 답변을 조건으로 한 질문 생성으로 분해하여 해당 이론을 구현합니다.

이미지 크레디트: 마이크로소프트 리서치

당신은 생각할 수 있습니다 SynNet 경험을 바탕으로 문서에서 질문을 생성하는 데 매우 능숙한 교사입니다. 한 도메인의 관련 질문에 대해 학습하면서 새 도메인의 문서에 동일한 패턴을 적용할 수 있습니다. Microsoft 연구원들은 다음의 원칙을 적용했습니다. SynNet 최근 발표된 MRC 모델을 포함한 다양한 MRC 모델 리소넷 이는 가까운 미래에 기계 독해를 현실화하는 데 많은 가능성을 보여주었습니다.

 
실물. 허가를 받아 다시 게시했습니다.

관련 :