اعتبار تصویر: تحقیقات هوش مصنوعی فیس بوک

من اخیراً یک خبرنامه جدید با تمرکز بر آموزش هوش مصنوعی و در حال حاضر بیش از 50,000 مشترک دارد. TheSequence یک خبرنامه بدون BS (به معنی بدون هیاهو، بدون خبری و غیره) متمرکز بر هوش مصنوعی است که خواندن آن 5 دقیقه طول می کشد. هدف این است که شما را با پروژه های یادگیری ماشینی، مقالات تحقیقاتی و مفاهیم به روز نگه دارد. لطفاً با عضویت در زیر آن را امتحان کنید:

سال گذشته، Facebook AI Research (FAIR) منبع باز بود BlenderBot 1.0، بزرگترین ربات چت دامنه باز که تا کنون ساخته شده است. BlenderBot می‌تواند در طیف وسیعی از مکالمات تقریباً در هر موضوعی شرکت کند و در عین حال ویژگی‌های انسانی مانند همدلی و سطوح شخصیتی تعامل را نشان دهد. اولین نسخه BlenderBot یکی از اولین ربات های چت بود که همدلی، شخصیت و دانش را در یک سیستم واحد ترکیب کرد.

هفته گذشته ، تیم FAIR نسخه جدید BlenderBot منبع باز که شامل چندین پیشرفت کلیدی نسبت به نسخه قبلی خود است. به طور خاص، BlenderBot 2.0 دارای دو نوآوری اصلی نسبت به نسخه قبلی است:

1. بهبود قابلیت های حافظه بلند مدت
2. امکان جستجوی دانش در اینترنت در زمان واقعی.

معماری‌های ترانسفورماتور مانند GPT-3 یا BERT سیستم‌های پردازش زبان طبیعی (NLP) را متحول کرده‌اند، اما همچنان محدودیت‌های مشخصی دارند. در میان آنها، حافظه بلند مدت به عنوان یکی از اشکالات عمده مدل های ترانسفورماتور بزرگ برجسته می شود. به طور کلی، معماری ترانسفورماتور تنها قادر به ساخت ساختارهای حافظه کوتاه مدت است که به شدت به دانش از پیش آموزش دیده وابسته است. برای مثال، GPT-3 در مورد فیلم‌ها و سریال‌های تلویزیونی چند سال پیش بسیار آگاه است، اما با برنامه‌های فعلی به‌روز نیست.

اعتبار تصویر: تحقیقات هوش مصنوعی فیس بوک

برای رفع این محدودیت، BlenderBot 2.0 دانش آموزشی را با توانایی راه اندازی جستجوهای اینترنتی برای دانش مرتبط تکمیل می کند که سپس در حافظه بلندمدت آن باقی می ماند. از نظر معماری، BlenderBot 2.0 مدل ترانسفورماتور خود را با یک شبکه عصبی اضافی تقویت می کند که جستجوهای جستجو را بر اساس یک زمینه محاوره ای خاص آغاز می کند. BlenderBot سپس با نتایج جستجو با دانش مکالمه موجود ترکیب می شود تا پاسخ نهایی را بیان کند.

اعتبار تصویر: تحقیقات هوش مصنوعی فیس بوک

نتیجه معماری BlenderBot 2.0 یک ربات چت است که می تواند مکالمات طبیعی را با دانش زمان واقعی ترکیب کند و در عین حال به متن مکالمات قبلی نیز دسترسی داشته باشد. تکنیک های مورد استفاده در BlenderBot 2.0 می تواند الهام بخش نسل جدیدی از سیستم های مکالمه باشد که معماری ترانسفورماتور را با الزامات سیستم های دنیای واقعی تطبیق می دهد.

 
اصلی. مجدداً با اجازه دوباره ارسال شد.

مرتبط:

• فیس بوک یکی از سخت ترین چالش های یادگیری تقویتی در تاریخ را راه اندازی کرد
• DeepMind می‌خواهد یکی از مهم‌ترین الگوریتم‌ها در یادگیری ماشین را دوباره تصور کند
• قابلیت‌های شگفت‌انگیز یادگیری ماشین کم‌کد با به‌روزرسانی جدید لودویگ