インセンティブと矯正によるAIアラインメント

要旨: 私たちは、抑止と執行の法と経済のモデルの観点から、AIアライメントを研究します。これらのモデルでは、不正行為は外部的な失敗として扱われるのではなく、インセンティブに対する戦略的な応答として扱われます。つまり、行為者は、違反から得られる利益を、検出される確率と処罰の重さとで比較衡量します。私たちは、この同じ論理が自律型AIのパイプラインにおいて自然に生じることを主張します。解法者（ソルバー）は、説得力のあるが誤った回答を生成すること、確実性（不確実性）を隠すこと、あるいは紛れた近道を悪用することによって利益を得られる可能性があります。一方で監査者（オーディタ）や検証者（バイファイア）は、コストのかかるモニタリングがそれだけの価値を持つかどうかを判断しなければなりません。したがってアライメントは固定点問題になります。より強い罰則はソルバーの不正行為を抑止し得る一方で、監査者が検査を行うインセンティブを下げることもあります。なぜなら、その場合、監査は主として、ますますアライメントが取れているように見える集団に対してコストを負担することになり、実質的にそれだけになるからです。
この観点はまた、「学習後の信号」として何を数えるべきかも変えます。標準的なフィードバックでは多くの場合、報酬は最終回答にだけ結び付けられますが、ソルバー・監査者パイプラインでは、修正（コレクション）が起きた全過程が露出します。すなわち、ソルバーが誤ったかどうか、監査者が検査したかどうか、誤りが見つかったかどうか、そして監督（オーバーサイト）のインセンティブがなお有効であり続けたかどうか、です。私たちは、この相互作用を2者エージェントのモデルで形式化します。このモデルでは、プリンシパルが共同の修正結果に対してではなく報酬を選択し、それによってソルバーの振る舞いと監査者のモニタリングの両方が誘導されます。したがって報酬設計は二階（バイレベル）の最適化問題です。報酬は、その即時的な意味論的（セマンティック）な意味によって評価されるのではなく、それが誘導する行動の均衡によって評価されます。私たちは、ノイズのある相互作用フィードバックを用いて報酬プロファイルを探索するための、バンディットに基づく外側ループ手順を提案します。LLMのコーディング・パイプラインに関する実験では、適応的な報酬プロファイルによって、有用な監督圧力を維持し、静的に手設計された報酬に比べて、プリンシパルに整合した（プリンシパルにアラインされた）成果を改善できることが示されました。さらに、幻覚的な誤った試みが大幅に減少しました。