Microsoft Research capacita a las redes neuronales para comprender lo que leen

Fuente: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

Recientemente comencé un nuevo boletín centrado en la educación y la inteligencia artificial ya tiene más de 50,000 suscriptores. TheSequence es un boletín informativo centrado en la inteligencia artificial (es decir, sin exageraciones, sin noticias, etc.) que tarda 5 minutos en leerse. El objetivo es mantenerlo actualizado con los proyectos, los artículos de investigación y los conceptos de aprendizaje automático. Pruébelo suscribiéndose a continuación:

La comprensión de lectura automática (MRC) es una disciplina emergente en el campo del aprendizaje profundo. Desde un punto de vista conceptual, MRC se centra en modelos de aprendizaje profundo que pueden responder preguntas inteligentes sobre documentos de texto específicos. Para los humanos, la comprensión lectora es una habilidad cognitiva nativa desarrollada desde los primeros días de escuela o incluso antes. Cuando estamos leyendo un texto, instintivamente estamos extrayendo las ideas clave que nos permitirán responder futuras preguntas sobre ese tema. En el caso de los modelos de inteligencia artificial (IA), esa habilidad aún está en gran medida subdesarrollada.

La primera generación ampliamente adoptada de técnicas de comprensión del lenguaje natural (NLU) se ha centrado principalmente en detectar las intenciones y conceptos asociados con una oración específica. Podemos pensar en estos modelos como un primer nivel de conocimiento para permitir la comprensión lectora. Sin embargo, la comprensión completa de la lectura automática necesita bloques de construcción adicionales que puedan extrapolar y correlacionar preguntas con secciones específicas de un texto y generar conocimiento a partir de secciones específicas de un documento.

Uno de los mayores desafíos en el dominio MRC es que la mayoría de los modelos se basan en capacitación supervisada con conjuntos de datos que contienen no solo los documentos sino también posibles preguntas y respuestas. Como se puede imaginar, este enfoque no sólo es muy difícil de escalar sino prácticamente imposible de implementar en algunos dominios en los que los datos simplemente no están disponibles. Recientemente, investigadores de Microsoft propusieron un enfoque interesante para abordar este desafío en los algoritmos MRC.

En un documento titulado "Redes de síntesis de dos etapas para la transferencia de aprendizaje en comprensión automática", Microsoft Research introdujo una técnica llamada redes de síntesis de dos etapas o SynNet que aplica el aprendizaje por transferencia para reducir el esfuerzo de entrenar un modelo MRC. SynNet Puede verse como un enfoque de dos fases para desarrollar conocimientos relacionados con un texto específico. En la primera fase, SynNet aprende un patrón general para identificar el “interés” potencial en un documento de texto. Estos son puntos de conocimiento clave, entidades con nombre o conceptos semánticos que generalmente son respuestas que la gente puede preguntar. Luego, en la segunda etapa, el modelo aprende a formular preguntas en lenguaje natural en torno a estas posibles respuestas, dentro del contexto del artículo.

Lo fascinante de SynNet es que, una vez entrenado, un modelo se puede aplicar a un nuevo dominio, leer los documentos en el nuevo dominio y luego generar pseudopreguntas y respuestas contra estos documentos. Luego, forma los datos de capacitación necesarios para entrenar un sistema MRC para ese nuevo dominio, que podría ser una nueva enfermedad, un manual del empleado de una nueva empresa o un nuevo manual de producto.

Mucha gente asocia erróneamente la técnica MRC con el campo más desarrollado de la traducción automática. En el caso de modelos MRC como SynNet, el desafío es que necesitan sintetizar ambas preguntas y respuestas para un documento. Si bien la pregunta es una oración en lenguaje natural sintácticamente fluida, la respuesta es principalmente un concepto semántico destacado en el párrafo, como una entidad con nombre, una acción o un número. Dado que la respuesta tiene una estructura lingüística diferente a la de la pregunta, puede ser más apropiado considerar las respuestas y las preguntas como dos tipos diferentes de datos. SynNet se materializa en esa teoría al descomponer el proceso de generación de pares pregunta-respuesta en dos pasos fundamentales: La generación de respuesta condicionada al párrafo y la generación de pregunta condicionada al párrafo y la respuesta.

Crédito de la imagen: Microsoft Research

Puedes pensar en SynNet como docente que es muy bueno generando preguntas a partir de documentos basándose en su experiencia. A medida que aprende sobre las preguntas relevantes en un dominio, puede aplicar los mismos patrones a documentos en un nuevo dominio. Los investigadores de Microsoft han aplicado los principios de SynNet a diferentes modelos MRC, incluido el recientemente publicado RazónNet que se han mostrado muy prometedores para hacer realidad la comprensión de la lectura automática en un futuro próximo.

 
Original. Publicado de nuevo con permiso.

Relacionado: