Microsoft Research Melatih Jaringan Neural untuk Memahami Apa yang Mereka Baca

Sumber: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Saya baru-baru ini memulai buletin baru yang berfokus pada pendidikan AI dan sudah memiliki lebih dari 50,000 pelanggan. TheSequence adalah buletin tanpa BS (artinya tidak ada hype, tidak ada berita, dll.) Buletin yang berfokus pada AI yang membutuhkan waktu 5 menit untuk dibaca. Sasarannya adalah untuk terus memberikan Anda info terbaru tentang proyek machine learning, makalah penelitian, dan konsep. Silakan mencobanya dengan berlangganan di bawah ini:

Pemahaman membaca mesin (MRC) adalah disiplin yang muncul di bidang pembelajaran mendalam. Dari sudut pandang konseptual, MRC berfokus pada model pembelajaran mendalam yang dapat menjawab pertanyaan cerdas tentang dokumen teks tertentu. Bagi manusia, membaca pemahaman merupakan keterampilan kognitif bawaan yang dikembangkan sejak awal sekolah atau bahkan sebelumnya. Saat kita membaca sebuah teks, kita secara naluriah mengekstraksi ide-ide kunci yang akan memungkinkan kita untuk menjawab pertanyaan di masa depan tentang subjek itu. Dalam kasus model kecerdasan buatan (AI), keterampilan itu sebagian besar masih terbelakang.

Generasi pertama yang diadopsi secara luas dari teknik pemahaman bahasa alami (NLU) sebagian besar berfokus pada mendeteksi niat dan konsep yang terkait dengan kalimat tertentu. Kita dapat menganggap model-model ini sebagai tingkat pengetahuan pertama untuk mengaktifkan pemahaman bacaan. Namun, pemahaman membaca mesin penuh memerlukan blok penyusun tambahan yang dapat mengekstrapolasi dan menghubungkan pertanyaan ke bagian teks tertentu dan membangun pengetahuan dari bagian dokumen tertentu.

Salah satu tantangan terbesar dalam domain MRC adalah sebagian besar model didasarkan pada pelatihan yang diawasi dengan kumpulan data yang tidak hanya berisi dokumen tetapi juga pertanyaan dan jawaban potensial. Seperti yang dapat Anda bayangkan, pendekatan ini tidak hanya sangat sulit untuk diskalakan tetapi secara praktis tidak mungkin diterapkan di beberapa domain di mana datanya tidak tersedia. Baru-baru ini, peneliti dari Microsoft mengusulkan pendekatan yang menarik untuk menghadapi tantangan ini dalam algoritma MRC.

Dalam sebuah makalah berjudul “Jaringan Sintesis Dua Tahap untuk Pembelajaran Transfer dalam Pemahaman Mesin”, Riset Microsoft memperkenalkan teknik yang disebut jaringan sintesis dua tahap atau SynNet yang menerapkan pembelajaran transfer untuk mengurangi upaya melatih model MRC. SynNet dapat dilihat sebagai pendekatan dua fase untuk membangun pengetahuan yang berkaitan dengan teks tertentu. Pada fase pertama, SynNet mempelajari pola umum dalam mengidentifikasi potensi "ketertarikan" dalam dokumen teks. Ini adalah poin pengetahuan utama, entitas bernama, atau konsep semantik yang biasanya merupakan jawaban yang mungkin ditanyakan orang. Kemudian, pada tahap kedua, model belajar membentuk pertanyaan bahasa alami seputar jawaban potensial ini, dalam konteks artikel.

Hal yang menarik tentang SynNet adalah, setelah dilatih, model dapat diterapkan ke domain baru, membaca dokumen di domain baru, lalu membuat pertanyaan dan jawaban semu terhadap dokumen-dokumen ini. Kemudian, itu membentuk data pelatihan yang diperlukan untuk melatih sistem MRC untuk domain baru tersebut, yang bisa berupa penyakit baru, buku pegangan karyawan perusahaan baru, atau manual produk baru.

Banyak orang keliru mengasosiasikan teknik MRC dengan bidang terjemahan mesin yang lebih maju. Dalam kasus model MRC seperti SynNet, tantangannya adalah mereka perlu mensintesakan kedua pertanyaan tersebut dan jawaban untuk dokumen. Sementara pertanyaannya adalah kalimat bahasa alami yang fasih secara sintaksis, jawabannya sebagian besar merupakan konsep semantik yang menonjol dalam paragraf, seperti entitas bernama, tindakan, atau angka. Karena jawabannya memiliki struktur linguistik yang berbeda dari pertanyaannya, mungkin lebih tepat untuk memandang jawaban dan pertanyaan sebagai dua tipe data yang berbeda. SynNet terwujud dalam teori tersebut dengan menguraikan proses pembangkitan pasangan pertanyaan-jawaban menjadi dua langkah mendasar: generasi jawaban dikondisikan pada paragraf dan generasi pertanyaan dikondisikan pada paragraf dan jawaban.

Kredit Gambar: Riset Microsoft

Anda bisa memikirkannya SynNet sebagai guru yang sangat baik dalam menghasilkan pertanyaan dari dokumen berdasarkan pengalamannya. Saat mempelajari tentang pertanyaan yang relevan di satu domain, pola yang sama dapat diterapkan ke dokumen di domain baru. Peneliti Microsoft telah menerapkan prinsip-prinsip dari SynNet untuk model MRC yang berbeda termasuk yang baru-baru ini diterbitkan ReasonNet yang telah menunjukkan banyak janji untuk membuat pemahaman membaca mesin menjadi kenyataan dalam waktu dekat.

 
Original. Diposting ulang dengan izin.

Terkait: