ARACHで話す前に要約する: グローバルアテンション再配置による学習不要の推論時プラグインでLLMsを強化

大規模言語モデル（LLMs）は卓越した性能を発揮しますが、さらなる向上にはしばしば高価な訓練が必要です。これにより、更新せずに推論時にモデルを改善する訓練後の手法、特に訓練不要アプローチへの関心が高まっています。ほとんどの訓練不要法はモデルをブラックボックスとして扱い、出力を改善するための入力/出力レベルの介入、例えばプロンプト設計、反復サンプリングを通じたテスト時スケーリング、再ランク付け/検証、検索などを行います。対照的に、内部計算へ介入するためのプラグアンドプレイの機構を提供することは稀です。我々はARACH（Adaptive Context Hubによるアテンション再割り当て）を提案します。訓練不要の推論時プラグインで、適応的なコンテキストハブを備えたLLMsを拡張し、コンテキストを集約してアテンションを再割り当てます。複数の言語モデリングタスクにわたる広範な実験は、推論オーバーヘッドが控えめで、パラメータ更新なしでも一貫した改善を示しました。アテンション分析は、ARACHがアテンションサンク現象を緩和することを示唆します。これらの結果は、モデルの内部計算を推論時に設計することが、プロンプトベースのテスト時手法と訓練ベースのポストトレーニング手法の両方とは異なる推論時戦略を提供することを示しています。