Źródło obrazu: Facebook AI Research

Niedawno rozpocząłem nowy biuletyn poświęcony edukacji AI i ma już ponad 50,000 XNUMX subskrybentów. TheSequence to biuletyn bez BS (co oznacza brak szumu, żadnych wiadomości itp.) Skupiony na sztucznej inteligencji newsletter, którego przeczytanie zajmuje 5 minut. Celem jest informowanie Cię na bieżąco o projektach uczenia maszynowego, artykułach badawczych i koncepcjach. Spróbuj, subskrybując poniżej:

W zeszłym roku Facebook AI Research (FAIR) open source BlenderBota 1.0, największy chatbot z otwartą domeną, jaki kiedykolwiek zbudowano. BlenderBot jest w stanie angażować się w różnorodne rozmowy na prawie każdy temat, jednocześnie wykazując cechy ludzkie, takie jak empatia i osobisty poziom zaangażowania. Pierwsza wersja BlenderBota była jednym z pierwszych chatbotów łączących empatię, osobowość i wiedzę w jednym systemie.

W zeszłym tygodniu, zespół FAIR open source nowa wersja BlenderBot który zawiera kilka kluczowych ulepszeń swojego poprzednika. Dokładniej, BlenderBot 2.0 zawiera dwie główne innowacje w stosunku do poprzedniej wersji:

1. Ulepszone możliwości pamięci długoterminowej.
2. Możliwość wyszukiwania w Internecie wiedzy w czasie rzeczywistym.

Architektury transformatorowe, takie jak GPT-3 lub BERT, zrewolucjonizowały systemy przetwarzania języka naturalnego (NLP), ale nadal mają wyraźne ograniczenia. Wśród nich pamięć długotrwała wyróżnia się jako jedna z głównych wad modeli dużych transformatorów. Ogólnie rzecz biorąc, architektury transformatorów są w stanie budować tylko struktury pamięci krótkotrwałej, które są w dużym stopniu zależne od wstępnie wyszkolonej wiedzy. Na przykład GPT-3 ma dużą wiedzę na temat filmów i seriali telewizyjnych sprzed kilku lat, ale nie jest na bieżąco z aktualnymi programami.

Źródło obrazu: Facebook AI Research

Aby rozwiązać to ograniczenie, BlenderBot 2.0 uzupełnia wiedzę szkoleniową o możliwość wywoływania wyszukiwania w Internecie odpowiedniej wiedzy, która jest następnie utrwalana w magazynie pamięci długoterminowej. Architektonicznie BlenderBot 2.0 rozszerza swój model transformatora o dodatkową sieć neuronową, która wyzwala zapytania wyszukiwania w oparciu o określony kontekst konwersacyjny. BlenderBot następnie łączy się z wynikami wyszukiwania z istniejącą wiedzą konwersacyjną, aby sformułować ostateczną odpowiedź.

Źródło obrazu: Facebook AI Research

Rezultatem architektury BlenderBot 2.0 jest chatbot, który może łączyć naturalne rozmowy z wiedzą w czasie rzeczywistym, jednocześnie uzyskując dostęp do kontekstu z poprzednich rozmów. Techniki zastosowane w BlenderBot 2.0 mogą zainspirować nową generację systemów konwersacyjnych, które dostosowują architektury transformatorów do wymagań systemów świata rzeczywistego.

 
Oryginalny. Przesłane za zgodą.

Związane z:

• Facebook uruchamia jedno z najtrudniejszych wyzwań związanych z nauką wzmacniania w historii
• DeepMind chce na nowo wyobrazić sobie jeden z najważniejszych algorytmów w uczeniu maszynowym
• Niesamowite możliwości uczenia maszynowego z niskim kodem z nową aktualizacją Ludwiga