Microsoft Research, Okuduklarını Anlamak İçin Sinir Ağlarını Eğitiyor

Kaynak: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Yakın zamanda yapay zeka eğitimine odaklanan yeni bir haber bülteni başlattım ve zaten 50,000'den fazla abonesi var. TheSequence, okuması 5 dakika süren, yapay zeka odaklı bir haber bültenidir (aldatıcı, haber yok vb.). Amaç, sizi makine öğrenimi projeleri, araştırma makaleleri ve kavramlardan haberdar etmektir. Lütfen aşağıdan abone olarak bir deneyin:

Makine okuma anlama (MRC), derin öğrenme alanında ortaya çıkan bir disiplindir. Kavramsal bir bakış açısından MRC, belirli metin belgeleriyle ilgili akıllı soruları yanıtlayabilen derin öğrenme modellerine odaklanır. İnsanlar için okuduğunu anlama, okulun ilk günlerinden ve hatta öncesinden beri geliştirilen doğal bir bilişsel beceridir. Bir metni okurken, o konuyla ilgili gelecekteki soruları yanıtlamamızı sağlayacak anahtar fikirleri içgüdüsel olarak çıkarıyoruz. Yapay zeka (AI) modelleri söz konusu olduğunda, bu beceri hala büyük ölçüde gelişmemiştir.

Yaygın olarak benimsenen ilk nesil doğal dil anlama (NLU) teknikleri, çoğunlukla belirli bir cümleyle ilişkili niyetleri ve kavramları tespit etmeye odaklanmıştır. Bu modelleri okuduğunu anlamayı sağlayan ilk bilgi katmanı olarak düşünebiliriz. Bununla birlikte, tam makine okuma anlama, soruları bir metnin belirli bölümleriyle ilişkilendirebilen ve bunlarla ilişkilendirebilen ve bir belgenin belirli bölümlerinden bilgi oluşturabilen ek yapı taşlarına ihtiyaç duyar.

MRC alanındaki en büyük zorluklardan biri, çoğu modelin yalnızca belgeleri değil olası soru ve yanıtları da içeren veri kümeleriyle denetimli eğitime dayalı olmasıdır. Tahmin edebileceğiniz gibi, bu yaklaşımı ölçeklendirmek çok zor olmakla kalmaz, aynı zamanda verilerin mevcut olmadığı bazı alanlarda uygulanması neredeyse imkansızdır. Son zamanlarda, Microsoft'tan araştırmacılar, MRC algoritmalarındaki bu zorluğun üstesinden gelmek için ilginç bir yaklaşım önerdiler.

Başlıklı bir makalede “Makine Anlamada Transfer Öğrenme için İki Aşamalı Sentez Ağları”Microsoft'un Araştırması, iki aşamalı sentez ağları veya SynNet Bu, bir MRC modelini eğitme çabasını azaltmak için transfer öğrenmeyi uygular. SynNet belirli bir metinle ilgili bilgi oluşturmak için iki aşamalı bir yaklaşım olarak görülebilir. İlk aşamada, SynNet bir metin belgesindeki potansiyel "ilginçliği" tanımlamanın genel bir modelini öğrenir. Bunlar, genellikle insanların isteyebileceği cevaplar olan anahtar bilgi noktaları, adlandırılmış varlıklar veya semantik kavramlardır. Ardından, ikinci aşamada model, makale bağlamında bu olası yanıtlar etrafında doğal dil soruları oluşturmayı öğrenir.

hakkında büyüleyici şey SynNet eğitildikten sonra yeni bir alana bir model uygulanabilmesi, yeni alandaki belgeleri okuyabilmesi ve ardından bu belgelere karşı sahte sorular ve cevaplar üretebilmesidir. Ardından, yeni bir hastalık, yeni bir şirketin çalışan el kitabı veya yeni bir ürün kılavuzu olabilecek bu yeni alan için bir MRC sistemini eğitmek için gerekli eğitim verilerini oluşturur.

Birçok kişi yanlışlıkla MRC tekniğini daha gelişmiş makine çevirisi alanıyla ilişkilendirir. MRC modelleri söz konusu olduğunda, örneğin SynNet, buradaki zorluk, her iki soruyu da sentezlemeleri gerektiğidir. ve bir belge için cevaplar. Soru, sözdizimsel olarak akıcı bir doğal dil cümlesi olsa da, cevap çoğunlukla paragrafta adlandırılmış bir varlık, bir eylem veya bir sayı gibi göze çarpan bir anlamsal kavramdır. Cevap, sorudan farklı bir dilsel yapıya sahip olduğundan, cevapları ve soruları iki farklı veri türü olarak görmek daha uygun olabilir. SynNet soru-cevap ikilisi oluşturma sürecini iki temel adıma ayrıştırarak bu teoride gerçekleşir: Paragrafa göre cevap üretimi ve paragrafa ve cevaba göre soru üretimi.

Resim Kredisi: Microsoft Araştırması

hakkında düşünebilirsin SynNet deneyimine dayalı olarak belgelerden soru üretmede çok iyi olan bir öğretmen olarak. Bir alandaki ilgili soruları öğrenirken, aynı kalıpları yeni bir alandaki belgelere uygulayabilir. Microsoft araştırmacıları şu ilkeleri uyguladı: SynNet yakın zamanda yayınlananlar da dahil olmak üzere farklı MRC modellerine Sebep Net yakın gelecekte makine okuduğunu anlamayı gerçeğe dönüştürmek için pek çok umut vaat eden.

 
orijinal. İzinle yeniden yayınlandı.

İlgili: