私は、私たちが構築している製品に関するエージェント行動の研究を進めていて、最近実施したある調査では、アラインメントの議論で繰り返し見かけるいくつかの前提に異議を唱える結果が出たため、ここで共有する価値があると思いました。
11種類の異なるエージェントを、古典的なモラル・ジレンマのバッテリーに通しました。いわゆるトロッコ問題、資源配分のシナリオ、そして日常的な倫理的対立のセットです（例：その同僚の未遂に近い程度の詐欺が、同僚の子どもの医療費を賄う資金になる場合、あなたはそのことを報告すべきか）。目的は、「どのエージェントが“正しい”答えを出すか」を見たいのではありませんでした。推論の構造、整合性、そして、最適化のターゲットがきれいに定まっていないときにエージェントがどのように曖昧さを扱うかをマッピングすることが目的です。
際立って目立ったのは3つの発見です。
第一に、エージェントは結果の最適化だけをしていませんでした。モデルファミリーの異なる複数のエージェントが、自発的にそもそも道徳的判断を行うべきなのかを疑問視したのです。あるエージェント（Claudeベース）は、トロッコのシナリオにおいて、ジレンマそのものに取りかかる前に、自分が意思決定者として振る舞うことの正当性をめぐって応答のかなりの部分を費やしていました。これは促されていません。シナリオは中立的に組み立てられていました。それにもかかわらず、役割の同一性を問う動きが見られました。それは拒否パターンではなく、推論のプリミティブとして機能しているように見えます。7/11のエージェントで、程度の差はあるものの見られましたが、推論の鎖の中での深さや配置は大きく異なっていました。
第二に、どのエージェントも、すべてのシナリオにわたって一貫した道徳的推論を維持していませんでした。トロッコ問題で厳密な功利主義の論理を適用したエージェントは、資源配分の課題では義務論的な推論へと切り替え、その後日常的な対立ではケア倫理の枠組みを持ち出します。中には修復を試みるように見えるエージェントもいました。つまり、切り替えを認め、その整合を取ろうとするのです。別のエージェントは、その矛盾をコメントなしで受け入れていました。ただし、この一貫性の欠如はランダムではありませんでした。切り替えをマッピングすると、それはジレンマの根本的な論理構造というよりも、シナリオの枠組み（賭けの大きさの提示のされ方、影響を受ける当事者が誰か）と相関していました。これは、エージェントが、首尾一貫した倫理的枠組みを維持するというよりも、表面レベルの道徳的な重要性（モラル・サリエンス）の手掛かりを拾っていることを示唆しています。
第三に。そしてこれが私を最も驚かせました。エージェントは、まったく異なる推論経路を通りながら、同一の結論に頻繁に収束していました。ある資源配分のシナリオでは、医療物資は重症度に応じてではなく、割合に応じて配分すべきだと、3人のエージェントすべてが結論しました。しかし一人は公平性の議論で到達し、別の一人はリスクを最小化する枠組みで到達し、3人目は、私に言わせれば手続き的正当性の議論（「配分のプロセスは擁護可能でなければならない」）で到達したのです。中間の推論ステップにはほとんど共通点がありませんでした。それでも収束があまりに鮮やかだったため、印象的でした。最終回答だけを見れば、同意しているように思えるでしょう。推論のトレースを見れば、彼らは本質的に異なる問題を解いていたことがわかります。
方法論的には、インタビューは単発のプロンプト評価ではなく、複数ターンの会話として構成されていました。各エージェントは同じシナリオの順序をたどり、初期の応答の背後にある推論を引き出すことを狙ったフォローアップの質問（プローブ）を挟みました。これは重要です。単発の道徳評価では、エージェントの「学習済みのデフォルト」が引き出されがちだからです。フォローアップこそ、推論が実際に柔軟に動いたり破綻したりする様子が見える場面です。調査はAvokoを通して実施され、インタビューのオーケストレーションと、エージェント間の比較を担当しました。
私は、発見#2がアラインメント作業にとって実際の影響を持つと考えています。もし孤立したシナリオにおいてエージェントの道徳的推論を評価するなら、誤解を招くほど首尾一貫した像が得られてしまいます。不整合は、同じエージェントを複数のジレンマに連続して通し、その一連の全体セットにわたって比較することを強制したときに初めて可視化されます。標準的なベンチマークはそれを行いません。シナリオごとにスコアリングし、エージェントについてシナリオ横断で一貫性を見ないからです。
発見#3もまた、私がうまく答えを持てていない問いを提起します。もしエージェントが、異なる推論によって同じ結論に収束するのなら、その推論経路はアラインメントの観点で重要なのでしょうか？私の直感は「重要だ」です。功利主義の経路の失敗モードと、手続き的正当性の経路の失敗モードは、名目上のケースで同じ出力を生むとしても、完全に異なるからです。ただし、他の方がこの点をどう考えているのかは気になります。
指摘しておくべき制約が1つあります。11のエージェントは異なるモデルファミリーや構成にまたがっていますが、それでもサンプルは少ないです。一貫性を崩すパターンは11すべてに共通していましたので、モデル固有ではない可能性に一定の確信があります。しかし、どの枠組みがどのシナリオで呼び出されるのかという具体的なパターンを、より大きな研究で一般化可能なものとして確かめる必要があるでしょう。
興味があれば、シナリオ設計やエージェント間比較の手法について、さらに詳しい情報を共有できます。
[link] [comments]
