Microsoft Researchは、ニューラルネットワークが読んだ内容を理解できるようにトレーニングします

情報源： https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

私は最近、AI教育に焦点を当てた新しいニュースレターを開始しました。 すでに50,000人以上の加入者がいます。 TheSequenceは、BS（誇大広告やニュースなどがないことを意味します）のAIに焦点を当てたニュースレターで、読むのに5分かかります。 目標は、機械学習プロジェクト、研究論文、概念を最新の状態に保つことです。 以下を購読して、試してみてください。

機械読解（MRC）は、深層学習の分野における新たな分野です。 概念的な観点から、MRCは、特定のテキストドキュメントに関するインテリジェントな質問に答えることができるディープラーニングモデルに焦点を当てています。 人間にとって、読解は学校の初期から、あるいはそれ以前にさえ発達したネイティブの認知スキルです。 私たちがテキストを読んでいるとき、私たちはその主題についての将来の質問に答えることを可能にする重要なアイデアを本能的に抽出しています。 人工知能（AI）モデルの場合、そのスキルはまだほとんど開発されていません。

自然言語理解（NLU）技術の最初の広く採用された世代は、主に特定の文に関連する意図と概念を検出することに焦点を当ててきました。 これらのモデルは、読解を可能にするための知識の最初の層と考えることができます。 ただし、完全な機械読解には、質問を外挿してテキストの特定のセクションに関連付け、ドキュメントの特定のセクションから知識を構築できる追加のビルディングブロックが必要です。

MRCドメインの最大の課題のXNUMXつは、ほとんどのモデルが、ドキュメントだけでなく潜在的な質問と回答を含むデータセットを使用した教師ありトレーニングに基づいていることです。 ご想像のとおり、このアプローチは拡張が非常に難しいだけでなく、データが単に利用できない一部のドメインで実装することは事実上不可能です。 最近、マイクロソフトの研究者は、MRCアルゴリズムでこの課題に対処するための興味深いアプローチを提案しました。

タイトルのある論文 「機械理解における転移学習のためのXNUMX段階合成ネットワーク」、MicrosoftのResearchは、XNUMX段階合成ネットワークと呼ばれる手法を導入しました。 シンネット これは、MRCモデルをトレーニングする労力を減らすために、転移学習を適用します。 シンネット 特定のテキストに関連する知識を構築するためのXNUMX段階のアプローチと見なすことができます。 最初のフェーズでは、 シンネット テキストドキュメントの潜在的な「面白さ」を識別する一般的なパターンを学習します。 これらは、重要な知識ポイント、名前付きエンティティ、またはセマンティックコンセプトであり、通常、人々が求める可能性のある答えです。 次に、第XNUMX段階で、モデルは、記事のコンテキスト内で、これらの潜在的な回答の周りに自然言語の質問を形成することを学習します。

についての魅力的なこと シンネット つまり、トレーニングが完了すると、モデルを新しいドメインに適用し、新しいドメインのドキュメントを読んでから、これらのドキュメントに対して疑似的な質問と回答を生成できます。 次に、その新しいドメインのMRCシステムをトレーニングするために必要なトレーニングデータを形成します。これは、新しい病気、新しい会社の従業員ハンドブック、または新しい製品マニュアルである可能性があります。

多くの人が、MRC技術をより発展した機械翻訳の分野と誤って関連付けています。 次のようなMRCモデルの場合 シンネット、課題は、両方の質問を統合する必要があることです & ドキュメントの回答。 質問は構文的に流暢な自然言語の文ですが、答えは主に、名前付きエンティティ、アクション、または数字など、段落内の顕著な意味概念です。 回答は質問とは言語構造が異なるため、回答と質問をXNUMXつの異なるタイプのデータとして表示する方が適切な場合があります。 シンネット その理論では、質問と回答のペアを生成するプロセスをXNUMXつの基本的なステップに分解することによって具体化します。段落を条件とする回答の生成と、段落と回答を条件とする質問の生成です。

画像クレジット：Microsoft Research

あなたは考えることができます シンネット その経験に基づいてドキュメントから質問を生成するのが非常に得意な教師として。 XNUMXつのドメインの関連する質問について学習すると、同じパターンを新しいドメインのドキュメントに適用できます。 マイクロソフトの研究者は、 シンネット 最近公開されたものを含むさまざまなMRCモデルに リアソネット 近い将来、機械の読解を実現することに大きな期待が寄せられています。

 
元の。 許可を得て転載。

関連する