LLMベースのエージェントにおける安全な交渉のための代理目標（サロゲートゴール）の実装

概要: 代理目標（サロゲートゴール）は、交渉の失敗によるリスクを低減するための戦略として提案されてきた。代理目標とは、ある主体（プリンシパル）がAIエージェントに与えることができ、その主体が気にしているものから、エージェントに対するいかなる脅威もそれていくように仕向ける目標のことである。たとえば、自分のエージェントに「お金が燃やされることの防止」を気にかけさせることが考えられる。すると交渉のやり取りでは、他のエージェントは、主体を傷つけるためにお金を使うと脅す代わりに、自分のお金を燃やすと脅すことができる。重要なのは、エージェントが、主体を傷つけるためにお金が使われることと同じだけ、「お金が燃やされることの防止」を気にかけなければならない点である。
本論文では、言語モデルベースのエージェントに代理目標を実装する。具体的には、言語モデルベースのエージェントに対し、「お金を燃やす」という脅しに対して、それが「通常の」脅しに対するのと同じように反応させようとする。プロンプト、微調整、足場（スキャフォールディング）といった手法を用いて、異なる4つの方法を提案する。これら4つの方法を実験により評価する。その結果、足場と微調整に基づく方法が、単純なプロンプトよりも優れていることが分かる。とりわけ、微調整と足場は、代理目標に対する脅威に関して望ましい振る舞いをより正確に実装する。また、他の状況における能力や傾向への副作用という観点から、各手法を比較する。足場ベースの方法が最も良い成績を示すことを見出した。