LLMシステムのための意思決定中心の設計

要旨: LLMシステムは出力を生成することに加えて、制御上の意思決定を行わなければなりません。つまり、回答するかどうか、明確化するかどうか、取得するかどうか、ツールを呼び出すかどうか、修復するかどうか、あるいはエスカレーションするかどうかです。現在の多くのアーキテクチャでは、これらの意思決定が生成の中に暗黙的に埋め込まれたままであり、評価と行動が単一のモデル呼び出しの中で絡み合ってしまうため、失敗を調べる、制約する、あるいは修復することが難しくなっています。私たちは、意思決定に関連する信号を、それらを行動へと写像する方策（ポリシー）から分離する、意思決定中心の枠組みを提案します。これにより、制御をシステムの明示的かつ検査可能な層へと変換します。この分離は、失敗を「信号の推定」「意思決定方策」「実行」のどれに帰属させるべきかを可能にし、各コンポーネントをモジュールとして改善することを可能にします。この枠組みは、ルーティングや適応的推論のような馴染みのある単一ステップの設定を統一し、さらに、行動を行う前に、行動によって利用可能な情報が変化するような逐次的な設定にも自然に拡張されます。3つの制御された実験において、この枠組みは無益な行動を減らし、タスクの成功を改善し、解釈可能な失敗モードを明らかにします。より広く言えば、信頼性が高く、制御可能で、診断可能なLLMシステムを構築するための一般的なアーキテクチャ原理を提供します。