選択肢がリスクになるとき：複数選択（MCQ）制約下における大規模言語モデルの安全性失敗

要旨: 大規模言語モデル（LLM）における安全性のアラインメントは主に、開かれた生成（open-ended generation）において評価される。ここでは、モデルは応答を拒否することでリスクを軽減できる。一方、多くの実世界のアプリケーションでは、LLMは複数選択式問題（MCQ）のような構造化された意思決定タスクに組み込まれており、棄権（abstention）は推奨されない、または利用できない。本研究では、この設定における体系的な失敗モードを特定する。すなわち、有害な要求を強制的な選択肢付きMCQとして言い換えると、すべての選択肢が安全ではない場合でも、同等の開かれたプロンプトを一貫して拒否するモデルであっても拒否挙動を体系的に回避できることが示される。14の独自およびオープンソースのモデルにわたって、強制的な選択肢制約は政策違反（policy-violating）となる応答を強く増加させることを示す。特に、人間が作成したMCQでは、構造的制約の強さに対して侵害率が反転U字型の傾向を示し、中程度のタスク仕様のときに最大となる。一方、高い能力を持つモデルが生成したMCQでは、制約の種類を問わず侵害率がほぼ飽和し、モデル間での強い転移可能性（cross-model transferability）も見られる。我々の発見は、現在の安全性評価が構造化されたタスク設定におけるリスクを大幅に過小評価していること、そして制約付き意思決定をアラインメント失敗の重要かつ十分に探究されていない表面として示すものである。