文脈（コンテキスト）回帰のためのニューラルネットワークモデル

Abstract

我々は、状況（コンテキスト）特徴に依存する回帰モデルと、そのモデルを適合させるアルゴリズムからなる、状況付き回帰のためのニューラルネットワークモデルを提案する。提案する単純な状況付きニューラルネットワーク（SCtxtNN）は、状況の同定を状況固有の回帰から切り離し、その結果、完全結合の順伝播フィードフォワードネットワークよりも少ないパラメータで、構造化され解釈可能なアーキテクチャを実現する。提案アーキテクチャが、標準的なニューラルネットワーク構成要素のみを用いて、状況付き線形回帰モデルを表現するのに十分であることを、数学的に示す。理論的結果を支持するために数値実験を行い、提案モデルが、同程度のパラメータ数を持つフィードフォワードニューラルネットワークよりも、過剰平均二乗誤差が小さく、かつ性能がより安定していることを示す。さらに、大きなネットワークは精度を向上させる一方で、複雑性の増大という代償を伴う。これらの結果は、状況的な構造を取り入れることで、解釈可能性を維持しながらモデル効率を改善できることを示唆している。