Abstract
多肢選択による評価は、大規模言語モデルのベンチマークに広く用いられていますが、選択肢数が少ない設定では、真の能力を覆い隠すショートカット戦略によって天井精度に近い精度が維持され得ます。そこで本研究では、候補集合を100の選択肢まで拡大し、偶然による成績の影響を大幅に低減する大規模オプション評価プロトコルを提案します。この枠組みを、モデルが大きな候補集合から単一の誤り文を選ばなければならない、韓国語の正書法誤り検出タスクに適用します。固定したターゲットと、繰り返しの再サンプリングおよびシャッフルを用いることで、位置に起因するアーティファクトと内容に起因する失敗を切り分けつつ、安定した推定値を得ます。実験を通じて、選択肢が少ない設定における高い性能が、モデルの能力を過大評価し得ることが示されます。この一見した優位性は、多数の干渉が生じる大きな N のもとではしばしば弱まり、従来のベンチマークでは見えにくいギャップが明らかになります。失敗のモードとして、意味的な混同と、不確実性の下で初期の選択肢に偏る位置バイアスの2種類を特定します。文脈長の影響を切り分けるため、パディングを制御したテストおよび長さを一致させたテストを行ったところ、主なボトルネックは文脈長ではなく候補のランキングであることが示唆されます。これらの知見は、大規模オプション評価を、極端な選別妨害（ディストラクタ）密度のもとでモデルの信頼性をストレステストするための一般的な枠組みとして位置づけるものであり、低選択肢ベンチマークでは明らかにできない領域を超えた評価を可能にします。
