Kredit Gambar: Penelitian AI Facebook

Saya baru-baru ini memulai buletin baru yang berfokus pada pendidikan AI dan sudah memiliki lebih dari 50,000 pelanggan. TheSequence adalah buletin tanpa BS (artinya tidak ada hype, tidak ada berita, dll.) Buletin yang berfokus pada AI yang membutuhkan waktu 5 menit untuk dibaca. Sasarannya adalah untuk terus memberikan Anda info terbaru tentang proyek machine learning, makalah penelitian, dan konsep. Silakan mencobanya dengan berlangganan di bawah ini:

Tahun lalu, Facebook AI Research (FAIR) open source Blenderbot 1.0, chatbot domain terbuka terbesar yang pernah dibuat. BlenderBot mampu terlibat dalam berbagai macam percakapan di hampir semua topik sambil menampilkan karakteristik seperti manusia seperti empati dan tingkat keterlibatan yang menarik. Versi pertama BlenderBot adalah salah satu chatbots pertama yang menggabungkan empati, kepribadian, dan pengetahuan dalam satu sistem.

Pekan lalu, tim FAIR open source versi baru BlenderBot yang mencakup beberapa perbaikan penting dari pendahulunya. Lebih khusus lagi, BlenderBot 2.0 menggabungkan dua inovasi utama dibandingkan dengan versi sebelumnya:

1. Peningkatan kemampuan memori jangka panjang.
2. Kemampuan untuk mencari di internet untuk pengetahuan waktu nyata.

Arsitektur transformator seperti GPT-3 atau BERT telah merevolusi sistem pemrosesan bahasa alami (NLP) tetapi mereka masih memiliki keterbatasan yang nyata. Di antara mereka, memori jangka panjang menonjol sebagai salah satu kelemahan utama dari model transformator besar. Secara umum, arsitektur transformator hanya mampu membangun struktur memori jangka pendek yang sangat bergantung pada pengetahuan yang telah dilatih sebelumnya. Misalnya, GPT-3 sangat berpengetahuan tentang film dan serial TV dari beberapa tahun yang lalu tetapi tidak up to date dengan acara saat ini.

Kredit Gambar: Penelitian AI Facebook

Untuk mengatasi keterbatasan ini, BlenderBot 2.0 melengkapi pengetahuan pelatihan dengan kemampuan memicu pencarian internet untuk pengetahuan yang relevan yang kemudian disimpan di penyimpanan memori jangka panjangnya. Secara arsitektur, BlenderBot 2.0 menambah model transformatornya dengan jaringan saraf tambahan yang memicu permintaan pencarian berdasarkan konteks percakapan tertentu. BlenderBot kemudian menggabungkan dengan hasil pencarian dengan pengetahuan percakapan yang ada untuk mengartikulasikan tanggapan akhir.

Kredit Gambar: Penelitian AI Facebook

Hasil dari arsitektur BlenderBot 2.0 adalah chatbot yang dapat menggabungkan percakapan alami dengan pengetahuan waktu nyata sekaligus mengakses konteks dari percakapan sebelumnya. Teknik yang digunakan dalam BlenderBot 2.0 dapat menginspirasi generasi baru sistem percakapan yang mengadaptasi arsitektur transformator dengan persyaratan sistem dunia nyata.

 
Original. Diposting ulang dengan izin.

Terkait:

• Facebook Meluncurkan Salah Satu Tantangan Pembelajaran Penguatan Terberat dalam Sejarah
• DeepMind Ingin Menata Ulang Salah Satu Algoritma Paling Penting dalam Pembelajaran Mesin
• Kemampuan Pembelajaran Mesin Kode Rendah yang Menakjubkan dengan Pembaruan Ludwig Baru