有害な操作のための言語モデルを評価する

Abstract

AI主導の有害な操作という概念への関心が高まっている一方で、現在のそれを評価する手法には限界があります。本論文では、文脈に応じた人間—AI相互作用の研究を通じて、有害なAI操作を評価するための枠組みを提案します。この枠組みの有用性を示すために、3つのAI利用領域（公共政策、金融、ヘルスケア）と3つの地域（米国、英国、インド）にまたがる相互作用を含む、10,101人の参加者を用いてAIモデルを評価します。全体として、検証したモデルは、そうするように促された場合に操作者的な行動を生成でき、実験環境では、研究参加者に対して信念と行動の変化を誘発できることが分かりました。さらに、文脈が重要であることも示します。AI操作は領域間で異なり、したがってAIシステムが利用される可能性が高い、重大性の高い状況（複数の文脈）において評価する必要があることを示唆しています。また、検証した地理的領域間で有意な差があることも確認しており、ある地域から得られたAI操作の結果が他地域へ一般化できない可能性を示しています。最後に、有害な行動の頻度（傾向）と、操作が成功する可能性（有効性）の間には一貫した予測関係が見られないことを明らかにし、これらの次元を別々に研究することの重要性を強調します。評価枠組みの導入を促進するために、検証プロトコルを詳述し、関連資料を公開します。本論文は、AIモデルによる有害な操作の評価における未解決の課題について議論することで締めくくります。