Microsoft Research treina redes neurais para compreender o que lêem

Fonte: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Recentemente, comecei um novo boletim informativo com foco na educação de IA e já tem mais de 50,000 assinantes. TheSequence não é um boletim informativo com foco em IA (sem exageros, sem notícias, etc.) que leva 5 minutos para ser lido. O objetivo é mantê-lo atualizado com projetos de aprendizado de máquina, artigos de pesquisa e conceitos. Experimente, inscrevendo-se abaixo:

A compreensão de leitura de máquina (MRC) é uma disciplina emergente no campo da aprendizagem profunda. Do ponto de vista conceitual, o MRC se concentra em modelos de aprendizado profundo que podem responder a perguntas inteligentes sobre documentos de texto específicos. Para os humanos, a compreensão da leitura é uma habilidade cognitiva nativa desenvolvida desde os primeiros dias de escola ou mesmo antes. Ao lermos um texto, extraímos instintivamente as ideias-chave que nos permitirão responder a questões futuras sobre aquele assunto. No caso dos modelos de inteligência artificial (IA), essa habilidade ainda é pouco desenvolvida.

A primeira geração amplamente adotada de técnicas de compreensão de linguagem natural (NLU) concentrou-se principalmente na detecção de intenções e conceitos associados a uma frase específica. Podemos pensar nesses modelos como um primeiro nível de conhecimento para possibilitar a compreensão da leitura. No entanto, a compreensão completa da leitura de máquina precisa de blocos de construção adicionais que podem extrapolar e correlacionar perguntas para seções específicas de um texto e construir conhecimento de seções específicas de um documento.

Um dos maiores desafios no domínio do MRC é que a maioria dos modelos é baseada em treinamento supervisionado com conjuntos de dados que contêm não apenas os documentos, mas também possíveis perguntas e respostas. Como você pode imaginar, essa abordagem não é apenas muito difícil de dimensionar, mas praticamente impossível de implementar em alguns domínios nos quais os dados simplesmente não estão disponíveis. Recentemente, pesquisadores da Microsoft propuseram uma abordagem interessante para lidar com esse desafio em algoritmos MRC.

Em um artigo intitulado “Redes de síntese de dois estágios para aprendizado de transferência em compreensão de máquina”, a pesquisa da Microsoft introduziu uma técnica chamada redes de síntese de dois estágios ou SynNetName que aplica o aprendizado de transferência para reduzir o esforço para treinar um modelo MRC. SynNetName pode ser visto como uma abordagem em duas fases para construir conhecimento relacionado a um texto específico. Na primeira fase, SynNetName aprende um padrão geral de identificação de potencial “interesse” em um documento de texto. Esses são pontos-chave de conhecimento, entidades nomeadas ou conceitos semânticos que geralmente são respostas que as pessoas podem pedir. Em seguida, na segunda etapa, o modelo aprende a formular questões de linguagem natural em torno dessas possíveis respostas, dentro do contexto do artigo.

O fascinante sobre SynNetName é que, uma vez treinado, um modelo pode ser aplicado a um novo domínio, ler os documentos no novo domínio e então gerar pseudoperguntas e respostas contra esses documentos. Em seguida, ele forma os dados de treinamento necessários para treinar um sistema MRC para esse novo domínio, que pode ser uma nova doença, um manual do funcionário de uma nova empresa ou um novo manual de produto.

Muitas pessoas associam erroneamente a técnica MRC com o campo mais desenvolvido da tradução automática. No caso de modelos MRC como SynNetName, o desafio é que eles precisam sintetizar as duas questões e respostas para um documento. Embora a pergunta seja uma sentença de linguagem natural sintaticamente fluente, a resposta é principalmente um conceito semântico saliente no parágrafo, como uma entidade nomeada, uma ação ou um número. Como a resposta tem uma estrutura linguística diferente da pergunta, pode ser mais apropriado ver respostas e perguntas como dois tipos diferentes de dados. SynNetName materializa-se nessa teoria ao decompor o processo de geração de pares pergunta-resposta em duas etapas fundamentais: A geração da resposta condicionada ao parágrafo e a geração da pergunta condicionada ao parágrafo e à resposta.

Crédito da imagem: Microsoft Research

Você pode pensar sobre SynNetName como um professor que é muito bom em gerar perguntas a partir de documentos com base em sua experiência. À medida que aprende sobre as questões relevantes em um domínio, pode aplicar os mesmos padrões a documentos em um novo domínio. Os pesquisadores da Microsoft aplicaram os princípios de SynNetName a diferentes modelos MRC, incluindo o recentemente publicado ReasonNet que se mostraram muito promissores para tornar a compreensão de leitura de máquina uma realidade em um futuro próximo.

 
Óptimo estado. Original. Republicado com permissão.

Relacionado: