GAIN: 不完全な規範のもとでの大規模言語モデルの目標整合型意思決定のベンチマーク

概要: 私たちは、GAIN（Goal-Aligned Decision-Making under Imperfect Norms）を紹介します。これは、規範への順守とビジネス目標とのバランスを評価するためのベンチマークです。既存のベンチマークは通常、抽象的なシナリオに焦点を当て、現実世界のビジネス応用には適用されません。さらに、それらはLLMの意思決定に影響を与える要因についての洞察を限定的に提供します。これにより、複雑で現実世界の規範と目標の衝突に対するモデルの適応性を測定する能力が制限されます。GAINでは、モデルは目標、特定の状況、規範、および追加の文脈的プレッシャーを受け取ります。これらのプレッシャーは、潜在的な規範逸脱を促すよう明確に設計されており、GAINを他のベンチマークと差別化する独自の特徴です。意思決定に影響を与える要因を体系的に評価できるようにします。プレッシャーの5つのタイプを定義します：目標の整合性、リスク回避、感情的・倫理的訴求、社会的・権威的影響、そして個人的動機。このベンチマークは、4つの領域（採用、カスタマーサポート、広告と金融）にまたがる1,200のシナリオで構成されています。私たちの実験は、高度なLLMがしばしば人間の意思決定パターンを模倣することを示しています。しかし、個人的動機のプレッシャーが存在すると、それらは顕著に逸脱せず、規範を遵守する傾向を強く示すことが分かりました。