テキスト分類のためのアテンションベースのプーリングを用いた HAL（Hyperspace Analogue to Language）表現の強化

概要: The Hyperspace Analogue to Language (HAL) モデルは、分布的意味表現を構築するために、グローバルな語の共起行列に依存します。これらの表現は語彙間の関係を効果的に捉えますが、標準的な平均プーリングによってそれらを文レベルの埋め込みに集約すると、しばしば情報の損失が生じます。平均プーリングはすべてのトークンに同じ重みを割り当てるため、文脈上重要な語の影響が、情報価値の低い構造的トークンによって薄められます。本研究では、この制限に対処するために、学習可能で温度スケーリングされた加法的アテンション機構を HAL 表現パイプラインに組み込むことで、この制限を解決します。生の共起行列のスパース性と高次元性を緩和するため、アテンション層の前にベクトルを密な潜在空間へ射影する切断付き特異値分解（SVD）を適用します。提案されたアーキテクチャをIMDB感情分析データセットで評価します。実証的な結果は、アテンションベースのプーリング手法がテスト精度82.38％を達成することを示し、従来の平均プーリングのベースライン（75.64％）に対して絶対的に6.74ポイントの改善をもたらします。さらに、アテンション重みに対する定性的分析は、このメカニズムがストップワードを効果的に抑制し、感情を含むトークンに選択的に注意を向けることを示しており、分類性能とモデルの解釈性の両方を改善します。