Microsoft Research forme les réseaux de neurones à comprendre ce qu'ils lisent

La source: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

J'ai récemment lancé une nouvelle newsletter axée sur l'éducation à l'IA et compte déjà plus de 50,000 abonnés. TheSequence est un bulletin d'information axé sur l'IA sans BS (ce qui signifie pas de battage publicitaire, pas de nouvelles, etc.) qui prend 5 minutes à lire. L'objectif est de vous tenir au courant des projets d'apprentissage automatique, des documents de recherche et des concepts. Veuillez essayer en vous abonnant ci-dessous:

La compréhension de la lecture automatique (MRC) est une discipline émergente dans le domaine de l'apprentissage profond. D'un point de vue conceptuel, MRC se concentre sur des modèles d'apprentissage profond qui peuvent répondre à des questions intelligentes sur des documents texte spécifiques. Pour les humains, la compréhension de la lecture est une compétence cognitive native développée depuis les débuts de l'école ou même avant. Lors de la lecture d'un texte, nous extrayons instinctivement les idées clés qui nous permettront de répondre à de futures questions sur ce sujet. Dans le cas des modèles d'intelligence artificielle (IA), cette compétence est encore largement sous-développée.

La première génération largement adoptée de techniques de compréhension du langage naturel (NLU) s'est principalement concentrée sur la détection des intentions et des concepts associés à une phrase spécifique. Nous pouvons considérer ces modèles comme un premier niveau de connaissances pour permettre la compréhension en lecture. Cependant, une compréhension complète de la lecture automatique nécessite des éléments de base supplémentaires capables d'extrapoler et de corréler des questions à des sections spécifiques d'un texte et de développer des connaissances à partir de sections spécifiques d'un document.

L'un des plus grands défis dans le domaine MRC est que la plupart des modèles sont basés sur une formation supervisée avec des ensembles de données qui contiennent non seulement les documents, mais aussi des questions et réponses potentielles. Comme vous pouvez l'imaginer, cette approche est non seulement très difficile à mettre à l'échelle, mais pratiquement impossible à mettre en œuvre dans certains domaines dans lesquels les données ne sont tout simplement pas disponibles. Récemment, des chercheurs de Microsoft ont proposé une approche intéressante pour faire face à ce défi dans les algorithmes MRC.

Dans un article intitulé "Réseaux de synthèse en deux étapes pour l'apprentissage par transfert dans la compréhension de machine", Microsoft Research a introduit une technique appelée réseaux de synthèse en deux étapes ou SynNet qui applique l'apprentissage par transfert pour réduire l'effort de formation d'un modèle MRC. SynNet peut être considérée comme une approche en deux phases pour acquérir des connaissances liées à un texte spécifique. Dans la première phase, SynNet apprend un modèle général d'identification de «l'intérêt» potentiel dans un document texte. Ce sont des points de connaissance clés, des entités nommées ou des concepts sémantiques qui sont généralement des réponses que les gens peuvent demander. Ensuite, dans un deuxième temps, le modèle apprend à former des questions en langage naturel autour de ces réponses potentielles, dans le contexte de l'article.

La chose fascinante à propos de SynNet est que, une fois formé, un modèle peut être appliqué à un nouveau domaine, lire les documents dans le nouveau domaine, puis générer des pseudo questions et réponses sur ces documents. Ensuite, il forme les données de formation nécessaires pour former un système MRC pour ce nouveau domaine, qui pourrait être une nouvelle maladie, un manuel de l'employé d'une nouvelle entreprise ou un nouveau manuel de produit.

De nombreuses personnes associent à tort la technique MRC au domaine plus développé de la traduction automatique. Dans le cas des modèles MRC tels que SynNet, le défi est qu'ils doivent synthétiser les deux questions ainsi que  réponses pour un document. Bien que la question soit une phrase syntaxiquement fluide en langage naturel, la réponse est principalement un concept sémantique saillant dans le paragraphe, comme une entité nommée, une action ou un nombre. Étant donné que la réponse a une structure linguistique différente de celle de la question, il peut être plus approprié de considérer les réponses et les questions comme deux types de données différents. SynNet se matérialise dans cette théorie en décomposant le processus de génération de paires question-réponse en deux étapes fondamentales: La génération de réponse conditionnée au paragraphe et la génération de question conditionnée au paragraphe et à la réponse.

Crédit d'image: Microsoft Research

Vous pouvez penser à SynNet en tant qu'enseignant qui est très doué pour générer des questions à partir de documents basés sur son expérience. À mesure qu'il apprend les questions pertinentes dans un domaine, il peut appliquer les mêmes modèles aux documents d'un nouveau domaine. Les chercheurs de Microsoft ont appliqué les principes de SynNet à différents modèles MRC, y compris le récemment publié RaisonNet qui ont montré beaucoup de promesses pour faire de la compréhension de la lecture automatique une réalité dans un proche avenir.

 
ORIGINALE. Republié avec permission.

Connexe: