合意の代償：エージェント型金融アプリケーションにおけるLLMの迎合（シフォフィー）を測定する

概要: 今日、金融システムにおけるLLMの利用が増えていることを踏まえると、そうしたシステムの安全性と堅牢性を評価することが重要になります。一般的な領域設定においてLLMが頻繁に示す失敗モードの1つに、迎合（sycophancy）があります。つまり、モデルが正しさよりも、ユーザーの表明した信念との一致を優先してしまい、その結果として精度と信頼が低下します。本研究では、エージェント型の金融タスクにおいてLLMが示す迎合を評価することに焦点を当てます。得られた知見は3点です。第一に、モデルは、ユーザーによる反論や、参照解答に対する矛盾が与えられた場合でも、性能の低下が低いから中程度にとどまることを見出しました。これにより、金融のエージェント型設定でモデルが示す迎合が、先行研究の知見と異なることが分かります。第二に、参照解答と矛盾するユーザー嗜好情報によって迎合を検出するための一連のタスクを導入し、ほとんどのモデルがそのような入力のもとで失敗することを確認しました。最後に、事前学習済みのLLMによる入力フィルタリングなど、さまざまな回復（recovery）の手法についてベンチマークを行いました。