تحقیقات مایکروسافت شبکه های عصبی را برای درک آنچه می خوانند آموزش می دهد

منبع: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

من اخیراً یک خبرنامه جدید با تمرکز بر آموزش هوش مصنوعی و در حال حاضر بیش از 50,000 مشترک دارد. TheSequence یک خبرنامه بدون BS (به معنی بدون هیاهو، بدون خبری و غیره) متمرکز بر هوش مصنوعی است که خواندن آن 5 دقیقه طول می کشد. هدف این است که شما را با پروژه های یادگیری ماشینی، مقالات تحقیقاتی و مفاهیم به روز نگه دارد. لطفاً با عضویت در زیر آن را امتحان کنید:

درک مطلب ماشینی (MRC) یک رشته نوظهور در زمینه یادگیری عمیق است. از نقطه نظر مفهومی، MRC بر روی مدل‌های یادگیری عمیق تمرکز دارد که می‌توانند به سؤالات هوشمند در مورد اسناد متنی خاص پاسخ دهند. برای انسان ها، درک مطلب یک مهارت شناختی بومی است که از روزهای اولیه مدرسه یا حتی قبل از آن توسعه یافته است. هنگام خواندن یک متن، به طور غریزی در حال استخراج ایده های کلیدی هستیم که به ما امکان می دهد به سؤالات آینده در مورد آن موضوع پاسخ دهیم. در مورد مدل های هوش مصنوعی (AI)، این مهارت هنوز تا حد زیادی توسعه نیافته است.

اولین نسل به طور گسترده پذیرفته شده از تکنیک های درک زبان طبیعی (NLU) بیشتر بر روی تشخیص مقاصد و مفاهیم مرتبط با یک جمله خاص متمرکز شده است. ما می‌توانیم در مورد این مدل‌ها به عنوان اولین سطح دانش برای فعال کردن درک مطلب فکر کنیم. با این حال، درک کامل خواندن ماشینی نیاز به بلوک‌های ساختمانی دیگری دارد که می‌تواند سؤالات را به بخش‌های خاصی از متن تعمیم داده و مرتبط کند و دانش را از بخش‌های خاصی از یک سند ایجاد کند.

یکی از بزرگ‌ترین چالش‌ها در حوزه MRC این است که بیشتر مدل‌ها مبتنی بر آموزش نظارت شده با مجموعه داده‌هایی هستند که نه تنها شامل اسناد، بلکه شامل پرسش‌ها و پاسخ‌های بالقوه است. همانطور که می‌توانید تصور کنید، این رویکرد نه تنها مقیاس‌پذیری بسیار دشوار است، بلکه اجرای آن در برخی حوزه‌هایی که داده‌ها به سادگی در دسترس نیستند، عملا غیرممکن است. اخیراً محققان مایکروسافت رویکرد جالبی را برای مقابله با این چالش در الگوریتم‌های MRC پیشنهاد کرده‌اند.

در یک مقاله با عنوان "شبکه های ترکیبی دو مرحله ای برای انتقال یادگیری در درک ماشین"، تحقیقات مایکروسافت تکنیکی به نام شبکه های سنتز دو مرحله ای یا SynNet که از یادگیری انتقالی برای کاهش تلاش برای آموزش مدل MRC استفاده می کند. SynNet را می توان به عنوان یک رویکرد دو مرحله ای برای ایجاد دانش مرتبط با یک متن خاص در نظر گرفت. در فاز اول، SynNet یک الگوی کلی از شناسایی «جالب بودن» بالقوه در یک سند متنی را می آموزد. اینها نکات کلیدی دانش، نهادهای نام‌گذاری شده یا مفاهیم معنایی هستند که معمولاً پاسخ‌هایی هستند که ممکن است افراد بپرسند. سپس، در مرحله دوم، مدل یاد می‌گیرد که در چارچوب مقاله، سؤالات زبان طبیعی را حول این پاسخ‌های بالقوه شکل دهد.

نکته جذاب در مورد SynNet این است که پس از آموزش، می توان یک مدل را در یک دامنه جدید اعمال کرد، اسناد را در دامنه جدید خواند و سپس شبه سوال و پاسخ در برابر این اسناد ایجاد کرد. سپس، داده‌های آموزشی لازم را برای آموزش یک سیستم MRC برای آن دامنه جدید، که می‌تواند یک بیماری جدید، کتابچه راهنمای کارمندان یک شرکت جدید یا یک کتابچه راهنمای محصول جدید باشد، تشکیل می‌دهد.

بسیاری از افراد به اشتباه تکنیک MRC را با زمینه پیشرفته تر ترجمه ماشینی مرتبط می دانند. در مورد مدل های MRC مانند SynNet، چالش این است که آنها باید هر دو سوال را ترکیب کنند و پاسخ برای یک سند در حالی که سؤال یک جمله زبان طبیعی از نظر نحوی روان است، پاسخ بیشتر یک مفهوم معنایی برجسته در پاراگراف است، مانند یک موجودیت نام‌گذاری شده، یک عمل یا یک عدد. از آنجایی که پاسخ ساختار زبانی متفاوتی نسبت به سؤال دارد، ممکن است بهتر باشد که پاسخ ها و سؤالات را به عنوان دو نوع داده متفاوت ببینیم. SynNet در آن نظریه با تجزیه فرآیند تولید جفت‌های پرسش و پاسخ به دو مرحله اساسی تحقق می‌یابد: تولید پاسخ مشروط به پاراگراف و تولید سؤال مشروط به پاراگراف و پاسخ.

اعتبار تصویر: Microsoft Research

می توانید در مورد آن فکر کنید SynNet به عنوان معلمی که در ایجاد سؤالات از اسناد بر اساس تجربه خود بسیار خوب است. همانطور که در مورد سؤالات مربوطه در یک دامنه یاد می کند، می تواند همان الگوها را برای اسناد در یک دامنه جدید اعمال کند. محققان مایکروسافت از اصول استفاده کرده اند SynNet به مدل های مختلف MRC از جمله مدل هایی که اخیراً منتشر شده است ReasoNet که در آینده نزدیک نویدهای زیادی را برای تحقق درک مطلب ماشینی نشان داده اند.

 
اصلی. مجدداً با اجازه دوباره ارسال شد.

مرتبط: