Bildekreditt: Facebook AI Research

Jeg startet nylig et nytt nyhetsbrev med fokus på AI-utdanning og har allerede over 50,000 abonnenter. TheSequence er et ikke-BS (som betyr ingen hype, ingen nyheter osv.) AI-fokusert nyhetsbrev som tar 5 minutter å lese. Målet er å holde deg oppdatert på maskinlæringsprosjekter, forskningsartikler og konsepter. Prøv det ved å abonnere nedenfor:

I fjor åpnet Facebook AI Research(FAIR) med åpen kildekode BlenderBot 1.0, den største åpne domene chatbot som noen gang er bygget. BlenderBot er i stand til å engasjere seg i et stort utvalg samtaler på tvers av nesten alle emner, samtidig som de viser menneskelignende egenskaper som empati og personlig engasjement. Den første versjonen av BlenderBot var en av de første chatbotene som kombinerte empati, personlighet og kunnskap i et enkelt system.

Forrige uke, FAIR-laget åpen kildekode en ny versjon av BlenderBot som inkluderer flere viktige forbedringer til forgjengeren. Mer spesifikt inneholder BlenderBot 2.0 to hovedinnovasjoner i forhold til forrige versjon:

1. Forbedret langtidsminne.
2. Evne til å søke på internett for sanntidskunnskap.

Transformatorarkitekturer som GPT-3 eller BERT har revolusjonert systemer for naturlig språkbehandling (NLP), men de har fortsatt markante begrensninger. Blant dem skiller langtidsminne seg ut som en av de største ulempene med store transformatormodeller. Generelt er transformatorarkitekturer bare i stand til å bygge korttidsminnestrukturer som er svært avhengige av den forhåndstrente kunnskapen. For eksempel er GPT-3 super kunnskapsrik om filmer og TV-serier fra noen år siden, men er ikke oppdatert med aktuelle programmer.

Bildekreditt: Facebook AI Research

For å løse denne begrensningen, kompletterer BlenderBot 2.0 treningskunnskapen med evnen til å utløse internettsøk etter relevant kunnskap som deretter opprettholdes i langtidsminnelageret. Arkitektonisk forsterker BlenderBot 2.0 sin transformatormodell med et ekstra nevralt nettverk som utløser søk basert på en spesifikk samtalekontekst. BlenderBot kombinerer deretter med søkeresultater med den eksisterende samtalekunnskapen for å artikulere et endelig svar.

Bildekreditt: Facebook AI Research

Resultatet av BlenderBot 2.0-arkitekturen er en chatbot som kan kombinere naturlige samtaler med sanntidskunnskap samtidig som man får tilgang til konteksten fra tidligere samtaler. Teknikkene som brukes i BlenderBot 2.0 kan inspirere en ny generasjon samtalesystemer som tilpasser transformatorarkitekturer til kravene til virkelige systemer.

 
original. Ompostet med tillatelse.

Relatert:

• Facebook lanserer en av de tøffeste læringsutfordringene for forsterkning i historien
• DeepMind ønsker å reimagine en av de viktigste algoritmene i maskinlæring
• Utrolig maskinlæringsevner med lav kode med den nye Ludwig-oppdateringen