Tín dụng hình ảnh: Nghiên cứu AI của Facebook

Gần đây, tôi đã bắt đầu một bản tin mới tập trung vào giáo dục AI và đã có hơn 50,000 người đăng ký. TheSequence là bản tin không có BS (nghĩa là không cường điệu, không tin tức, v.v.) bản tin tập trung vào AI, mất 5 phút để đọc. Mục đích là giúp bạn cập nhật các dự án máy học, các bài nghiên cứu và khái niệm. Vui lòng dùng thử bằng cách đăng ký bên dưới:

Năm ngoái, Facebook AI Research (FAIR) có nguồn mở Máy xay sinh tốBot 1.0, chatbot miền mở lớn nhất từng được xây dựng. BlenderBot có thể tham gia vào nhiều cuộc trò chuyện về gần như bất kỳ chủ đề nào trong khi vẫn thể hiện các đặc điểm giống con người như sự đồng cảm và mức độ tương tác đáng tin cậy. Phiên bản đầu tiên của BlenderBot là một trong những chatbot đầu tiên kết hợp sự đồng cảm, tính cách và kiến ​​thức trong một hệ thống duy nhất.

Tuần trước, nhóm CÔNG BẰNG mở nguồn phiên bản mới của BlenderBot trong đó bao gồm một số cải tiến quan trọng đối với người tiền nhiệm của nó. Cụ thể hơn, BlenderBot 2.0 kết hợp hai cải tiến chính so với phiên bản trước:

1. Cải thiện khả năng ghi nhớ dài hạn.
2. Khả năng tìm kiếm kiến ​​thức trên Internet theo thời gian thực.

Các kiến ​​trúc máy biến áp như GPT-3 hoặc BERT đã cách mạng hóa các hệ thống xử lý ngôn ngữ tự nhiên (NLP) nhưng chúng vẫn có những hạn chế rõ rệt. Trong số đó, bộ nhớ dài hạn nổi bật là một trong những nhược điểm lớn của các mẫu máy biến áp lớn. Nói chung, kiến ​​trúc máy biến áp chỉ có thể xây dựng cấu trúc bộ nhớ ngắn hạn phụ thuộc nhiều vào kiến ​​thức được đào tạo trước. Ví dụ, GPT-3 rất am hiểu về phim và phim truyền hình từ vài năm trước nhưng không cập nhật với các chương trình hiện tại.

Tín dụng hình ảnh: Nghiên cứu AI của Facebook

Để giải quyết hạn chế này, BlenderBot 2.0 bổ sung kiến ​​thức đào tạo với khả năng kích hoạt các tìm kiếm trên internet đối với kiến ​​thức liên quan mà sau đó được lưu giữ trong kho bộ nhớ dài hạn của nó. Về mặt kiến ​​trúc, BlenderBot 2.0 tăng cường mô hình biến áp của nó với một mạng nơ-ron bổ sung kích hoạt các truy vấn tìm kiếm dựa trên ngữ cảnh hội thoại cụ thể. Sau đó BlenderBot kết hợp với kết quả tìm kiếm với kiến ​​thức hội thoại hiện có để đưa ra phản hồi cuối cùng.

Tín dụng hình ảnh: Nghiên cứu AI của Facebook

Kết quả của kiến ​​trúc BlenderBot 2.0 là một chatbot có thể kết hợp các cuộc trò chuyện tự nhiên với kiến ​​thức thời gian thực đồng thời truy cập ngữ cảnh từ các cuộc trò chuyện trước đó. Các kỹ thuật được sử dụng trong BlenderBot 2.0 có thể truyền cảm hứng cho một thế hệ hệ thống đàm thoại mới điều chỉnh kiến ​​trúc máy biến áp cho phù hợp với các yêu cầu của hệ thống thế giới thực.

 
Nguyên. Đăng lại với sự cho phép.

Liên quan:

• Facebook ra mắt một trong những thách thức học tập củng cố mạnh mẽ nhất trong lịch sử
• DeepMind muốn tưởng tượng lại một trong những thuật toán quan trọng nhất trong học máy
• Khả năng học máy mã thấp đáng kinh ngạc với bản cập nhật Ludwig mới