LatentQA：LLMにアクティベーションを自然言語へデコードさせる

要旨: 上からの透明性（top-down transparency）では通常、スカラーまたは単一トークンの出力をもつプローブによって言語モデルの活性化（activations）を解析し、その結果として捉えられる振る舞いの範囲が限定されます。これを改善するために、私たちは自然言語を直接出力できる、より表現力の高いプローブを開発します。これにより LatentQA を実現します。LatentQA とは、活性化に関する自由形式の質問に答えるタスクです。このようなプローブを開発する上での重要な難点は、活性化を自然言語による説明へ対応づけたデータセットを収集することです。そこで私たちは、それに応じて、活性化とそれに関連する質問-回答ペアからなるデータセットを生成するためのアプローチを提案し、このデータセット上でデコーダの LLM を学習するための微調整手法を開発します。その後、モデルの活性化を読み取り制御できる能力を評価することで、デコーダの忠実性（fidelity）を検証します。まず、隠されたシステムプロンプトの解明や関係知識の抽出といった、既知の正解をもつ複数の教師あり読み取りタスクに対してデコーダを評価し、競合するプロービングのベースラインを上回ることを観察します。次に、デコーダが十分に正確であることを示し、学習中には見られなかった振る舞いを目標モデルに示させるよう誘導できることを実証します。最後に、データセット規模およびモデル規模の増大に対して LatentQA がうまくスケールすることを示します。