Crédito da imagem: Pesquisa de IA do Facebook

Recentemente, comecei um novo boletim informativo com foco na educação de IA e já tem mais de 50,000 assinantes. TheSequence não é um boletim informativo com foco em IA (sem exageros, sem notícias, etc.) que leva 5 minutos para ser lido. O objetivo é mantê-lo atualizado com projetos de aprendizado de máquina, artigos de pesquisa e conceitos. Experimente, inscrevendo-se abaixo:

No ano passado, o Facebook AI Research (FAIR) abriu o código-fonte Blender Bot 1.0, o maior chatbot de domínio aberto já construído. O BlenderBot é capaz de se envolver em uma grande variedade de conversas sobre praticamente qualquer assunto, ao mesmo tempo que exibe características humanas, como empatia e níveis pessoais de envolvimento. A primeira versão do BlenderBot foi um dos primeiros chatbots a unir empatia, personalidade e conhecimento em um único sistema.

Na semana passada, a equipe FAIR código aberto de uma nova versão do BlenderBot que inclui várias melhorias importantes em relação ao seu antecessor. Mais especificamente, o BlenderBot 2.0 incorpora duas inovações principais em relação à versão anterior:

1. Capacidades aprimoradas de memória de longo prazo.
2. Capacidade de pesquisar na Internet por conhecimento em tempo real.

Arquiteturas de transformadores como GPT-3 ou BERT revolucionaram os sistemas de processamento de linguagem natural (PNL), mas ainda apresentam limitações marcantes. Dentre eles, a memória de longo prazo se destaca como uma das principais desvantagens dos grandes modelos de transformadores. Em geral, as arquiteturas de transformadores só são capazes de construir estruturas de memória de curto prazo que são altamente dependentes do conhecimento pré-treinado. Por exemplo, GPT-3 conhece muito bem filmes e séries de TV de alguns anos atrás, mas não está atualizado com os programas atuais.

Crédito da imagem: Pesquisa de IA do Facebook

Para resolver esta limitação, o BlenderBot 2.0 complementa o conhecimento do treinamento com a capacidade de desencadear pesquisas na Internet por conhecimento relevante que é então persistido em seu armazenamento de memória de longo prazo. Arquitetonicamente, o BlenderBot 2.0 aumenta seu modelo de transformador com uma rede neural adicional que aciona consultas de pesquisa com base em um contexto de conversação específico. O BlenderBot então combina os resultados da pesquisa com o conhecimento conversacional existente para articular uma resposta final.

Crédito da imagem: Pesquisa de IA do Facebook

O resultado da arquitetura do BlenderBot 2.0 é um chatbot que pode combinar conversas naturais com conhecimento em tempo real, ao mesmo tempo que acessa o contexto de conversas anteriores. As técnicas utilizadas no BlenderBot 2.0 podem inspirar uma nova geração de sistemas conversacionais que adaptam arquiteturas de transformadores aos requisitos de sistemas do mundo real.

 
Óptimo estado. Original. Republicado com permissão.

Relacionado:

• Facebook lança um dos mais difíceis desafios de aprendizagem por reforço da história
• DeepMind quer reimaginar um dos algoritmos mais importantes no aprendizado de máquina
• Recursos surpreendentes de aprendizado de máquina de baixo código com a nova atualização Ludwig