Nghiên cứu của Microsoft đào tạo các mạng thần kinh để hiểu những gì họ đọc

nguồn: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Gần đây, tôi đã bắt đầu một bản tin mới tập trung vào giáo dục AI và đã có hơn 50,000 người đăng ký. TheSequence là bản tin không có BS (nghĩa là không cường điệu, không tin tức, v.v.) bản tin tập trung vào AI, mất 5 phút để đọc. Mục đích là giúp bạn cập nhật các dự án máy học, các bài nghiên cứu và khái niệm. Vui lòng dùng thử bằng cách đăng ký bên dưới:

Máy đọc hiểu (MRC) là một ngành học mới nổi trong lĩnh vực học sâu. Từ quan điểm khái niệm, MRC tập trung vào các mô hình học sâu có thể trả lời các câu hỏi thông minh về các tài liệu văn bản cụ thể. Đối với con người, đọc hiểu là một kỹ năng nhận thức bản địa được phát triển từ những ngày đầu đi học hoặc thậm chí trước đó. Khi đọc một văn bản, chúng ta đang trích xuất theo bản năng những ý chính sẽ cho phép chúng ta trả lời các câu hỏi trong tương lai về chủ đề đó. Trong trường hợp các mô hình trí tuệ nhân tạo (AI), kỹ năng đó phần lớn vẫn chưa được phát triển.

Thế hệ kỹ thuật hiểu ngôn ngữ tự nhiên (NLU) đầu tiên được áp dụng rộng rãi chủ yếu tập trung vào việc phát hiện ý định và khái niệm liên quan đến một câu cụ thể. Chúng ta có thể nghĩ về những mô hình này như một tầng kiến ​​thức đầu tiên để có thể đọc hiểu. Tuy nhiên, khả năng đọc hiểu toàn bộ bằng máy cần các khối xây dựng bổ sung có thể ngoại suy và tương quan các câu hỏi với các phần cụ thể của văn bản và xây dựng kiến ​​thức từ các phần cụ thể của tài liệu.

Một trong những thách thức lớn nhất trong lĩnh vực MRC là hầu hết các mô hình đều dựa trên đào tạo có giám sát với các bộ dữ liệu không chỉ chứa tài liệu mà còn chứa các câu hỏi và câu trả lời tiềm ẩn. Như bạn có thể tưởng tượng, cách tiếp cận này không chỉ rất khó mở rộng quy mô mà trên thực tế là không thể triển khai trong một số lĩnh vực mà dữ liệu đơn giản là không có sẵn. Gần đây, các nhà nghiên cứu từ Microsoft đã đề xuất một cách tiếp cận thú vị để giải quyết thách thức này trong các thuật toán MRC.

Trong một bài báo có tiêu đề “Mạng tổng hợp hai giai đoạn để học chuyển giao trong hiểu máy”, Nghiên cứu của Microsoft đã giới thiệu một kỹ thuật gọi là mạng tổng hợp hai giai đoạn hoặc SynNet áp dụng học chuyển đổi để giảm nỗ lực đào tạo mô hình MRC. SynNet có thể được coi là một cách tiếp cận hai giai đoạn để xây dựng kiến ​​thức liên quan đến một văn bản cụ thể. Trong giai đoạn đầu, SynNet học một mô hình chung để xác định “sự thú vị” tiềm năng trong một tài liệu văn bản. Đây là những điểm kiến ​​thức chính, các thực thể được đặt tên hoặc các khái niệm ngữ nghĩa thường là câu trả lời mà mọi người có thể yêu cầu. Sau đó, trong giai đoạn thứ hai, mô hình học cách hình thành các câu hỏi ngôn ngữ tự nhiên xung quanh các câu trả lời tiềm năng này, trong ngữ cảnh của bài viết.

Điều hấp dẫn về SynNet nghĩa là, sau khi được đào tạo, một mô hình có thể được áp dụng cho một miền mới, đọc các tài liệu trong miền mới và sau đó tạo các câu hỏi và câu trả lời giả đối với các tài liệu này. Sau đó, nó tạo thành dữ liệu đào tạo cần thiết để đào tạo hệ thống MRC cho miền mới đó, có thể là một loại bệnh mới, sổ tay nhân viên của một công ty mới hoặc sổ tay hướng dẫn sản phẩm mới.

Nhiều người nhầm lẫn liên kết kỹ thuật MRC với lĩnh vực dịch máy phát triển hơn. Trong trường hợp các mô hình MRC như SynNet, thách thức là họ cần tổng hợp cả hai câu hỏi và câu trả lời cho một tài liệu. Trong khi câu hỏi là một câu ngôn ngữ tự nhiên trôi chảy về mặt cú pháp, thì câu trả lời chủ yếu là một khái niệm ngữ nghĩa nổi bật trong đoạn văn, chẳng hạn như một thực thể được đặt tên, một hành động hoặc một con số. Vì câu trả lời có cấu trúc ngôn ngữ khác với câu hỏi nên có thể phù hợp hơn khi xem câu trả lời và câu hỏi là hai loại dữ liệu khác nhau. SynNet cụ thể hóa lý thuyết đó bằng cách phân tách quá trình tạo ra các cặp câu hỏi-câu trả lời thành hai bước cơ bản: Tạo câu trả lời có điều kiện dựa trên đoạn văn và tạo câu hỏi có điều kiện dựa trên đoạn văn và câu trả lời.

Tín dụng hình ảnh: Nghiên cứu của Microsoft

bạn có thể nghĩ về SynNet với tư cách là một giáo viên rất giỏi trong việc tạo ra các câu hỏi từ các tài liệu dựa trên kinh nghiệm của mình. Khi tìm hiểu về các câu hỏi có liên quan trong một miền, nó có thể áp dụng các mẫu tương tự cho các tài liệu trong một miền mới. Các nhà nghiên cứu của Microsoft đã áp dụng các nguyên tắc của SynNet với các mô hình MRC khác nhau bao gồm cả mô hình được xuất bản gần đây lý trí đã cho thấy rất nhiều hứa hẹn trong việc biến khả năng đọc hiểu của máy thành hiện thực trong tương lai gần.

 
Nguyên. Đăng lại với sự cho phép.

Liên quan: