DeCoVec：イン・コンテキスト学習によって大規模言語モデルの復号空間上にタスクベクトルを構築し、デコーディングを制御する方法

要旨: タスクベクトル（モデルまたは活性化空間における、タスク固有の振る舞いを符号化する方向）は、大規模言語モデル（LLM）を制御するための有望な手段として登場している。 しかし、既存の手法は通常、微調整、または内部状態への侵入的な操作を必要とするため、その柔軟性とスケーラビリティが制限される。我々は extsc{DeCoVec}（Decoding Space based Task Vector）を提案する。これは学習不要かつ非侵襲的な枠組みであり、文脈内学習（ICL）を活用することで、 extit{復号（デコーディング）空間}上にタスクベクトルを直接構築する。具体的には、 extsc{DeCoVec} は few-shot プロンプトと zero-shot プロンプトの出力ロジット分布の差としてタスクの本質を捉え、そのベクトルを復号プロセスへ注入することによって生成を誘導する。TruthfulQA、Math-500、AQUA-RAT において、7つの LLM（0.5B〜9B）で行った実験では、 extsc{DeCoVec} が標準的な few-shot ベースラインを一貫して上回り、平均精度で最大 +5.50 の改善が見られた。さらに分析すると、 extsc{DeCoVec} は、デモンストレーションの順序に対して強い頑健性を示しつつ、生成の退化や論理的な欠陥を効果的に抑制することが確認でき、加えて追加の入力トークンコストも一切発生しない。我々の手法は、重み更新や補助モデルを必要としない、LLM 制御のための学習不要かつ非侵襲的な解決策を提供する。