トランスフォーマーにおける暗黙の統計的推論: 文脈内での尤度比検定の近似

本文: arXiv:2603.10573v1 アナウンス種別: 新規 要旨: インコンテキスト学習（ICL）は、重みの更新なしにトランスフォーマーが新規タスクへ適応することを可能にするが、基礎となるアルゴリズムはまだ十分に理解されていない。我々は、統計的決定論的観点を採用し、単純な二値仮説検定を調査することによって、最適な方針が尤度比検定によって決定されることを示す。特筆すべきは、この設定が対象アルゴリズムの地上真実が既知である機械的解釈可能性の数学的に厳密な設定を提供する点である。線形のシフト平均と非線形の分散推定といった異なる幾何を要するタスクでトランスフォーマーを訓練することにより、文脈からベイズ最適な十分統計量を単調変換までの範囲で近似することを示し、非線形領域では理想的なオラクル推定量の性能に匹敵する。 この分析的な地上真実を活用して、ロジットレンズと回路整合性による機械的分析は、モデルが固定カーネル平滑化に依存しないことを示唆する。むしろ、それは決定が線形的にデコード可能になる点を適応させるようで、線形タスクでは投票型アンサンブルと整合するパターンを示し、非線形タスクではより深い逐次計算を利用している。これらの発見は、ICLが単なる類似性マッチングではなく、タスク適応的統計推定量の構築から生じることを示唆している。