Kuvan luotto: Facebook AI Research

Aloitin äskettäin uuden uutiskirjeen, joka keskittyi tekoälyn koulutukseen ja on jo yli 50,000 tilaajaa. TheSequence on ei-BS (eli ei hypeä, ei uutisia jne.) Tekoälyyn keskittynyt uutiskirje, jonka lukeminen vie 5 minuuttia. Tavoitteena on pitää sinut ajan tasalla koneoppimisprojekteista, tutkimuspapereista ja konsepteista. Kokeile tilaamalla alla:

Viime vuonna Facebook AI Research (FAIR) avoimen lähdekoodin BlenderBot 1.0, suurin avoimen verkkotunnuksen chatbot, joka on koskaan rakennettu. BlenderBot pystyy osallistumaan monenlaisiin keskusteluihin lähes mistä tahansa aiheesta ja tuomaan esiin ihmismäisiä piirteitä, kuten empatiaa ja persoonallista sitoutumista. Ensimmäinen BlenderBot-versio oli yksi ensimmäisistä chatboteista, joka yhdisti empatian, persoonallisuuden ja tiedon yhdeksi järjestelmäksi.

Viime viikolla FAIR-tiimi avoimen lähdekoodin uusi versio BlenderBotista joka sisältää useita tärkeitä parannuksia edeltäjäänsä. Tarkemmin sanottuna BlenderBot 2.0 sisältää kaksi pääinnovaatiota edelliseen versioon verrattuna:

1. Parannetut pitkän aikavälin muistiominaisuudet.
2. Kyky etsiä Internetistä reaaliaikaista tietoa.

Muuntaja-arkkitehtuurit, kuten GPT-3 tai BERT, ovat mullistaneet luonnollisen kielen käsittelyjärjestelmät (NLP), mutta niillä on edelleen merkittäviä rajoituksia. Niistä pitkäaikainen muisti erottuu yhdeksi suurten muuntajamallien suurimmista haitoista. Yleensä muuntajaarkkitehtuurit pystyvät rakentamaan vain lyhytaikaisia ​​muistirakenteita, jotka ovat erittäin riippuvaisia ​​etukäteen koulutetusta tiedosta. Esimerkiksi GPT-3 on erittäin perehtynyt muutaman vuoden takaisiin elokuviin ja TV-sarjoihin, mutta se ei ole ajan tasalla nykyisistä ohjelmista.

Kuvan luotto: Facebook AI Research

Tämän rajoituksen korjaamiseksi BlenderBot 2.0 täydentää koulutustietoa mahdollisuudella käynnistää Internet-hakuja asiaankuuluvalle tiedolle, joka sitten säilyy sen pitkän aikavälin muistissa. Arkkitehtonisesti BlenderBot 2.0 täydentää muuntajamalliaan ylimääräisellä hermoverkolla, joka käynnistää hakukyselyt tietyn keskustelukontekstin perusteella. BlenderBot yhdistää sitten hakutuloksiin olemassa olevaan keskustelutietoon muotoillakseen lopullisen vastauksen.

Kuvan luotto: Facebook AI Research

BlenderBot 2.0 -arkkitehtuurin tulos on chatbot, joka voi yhdistää luonnolliset keskustelut reaaliaikaiseen tietoon ja käyttää samalla aiempien keskustelujen kontekstia. BlenderBot 2.0:ssa käytetyt tekniikat voivat inspiroida uuden sukupolven keskustelujärjestelmiä, jotka mukauttavat muuntajaarkkitehtuurit todellisten järjestelmien vaatimuksiin.

 
Alkuperäinen. Postitettu luvalla.

Related:

• Facebook lanseeraa yhden historian vaikeimmista vahvistamisen oppimishaasteista
• DeepMind haluaa kuvitella yhden koneoppimisen tärkeimmistä algoritmeista
• Hämmästyttävät pienikoodiset koneoppimisominaisuudet uudella Ludwig-päivityksellä