大規模言語モデルは解答位置を計画するのか？多肢選択式問題生成における位置バイアス

arXiv cs.CL / 2026/5/5

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本研究では、多肢選択式（MCQ）を生成する大規模言語モデルおよびビジョン・ランゲージモデルに、選択肢ごとの正解が一様に分布しにくい体系的な「位置バイアス」が見られることが示された。
10のLLMと5のVLMを用い、3つのMCQ生成タスクで実験した結果、バイアスは構造化されており、同一モデル系統内で似たパターンが現れることが分かった。
目に見えない内部表現を用いたプロービングにより、問題文（stem）の隠れ表現が正解位置を予測する信号を符号化していることが示され、生成中に解答位置が暗黙に計画されている可能性が示唆された。
さらに activation steering により内部表現を操作することで、位置への嗜好を部分的に制御でき、解答位置の分布を大きく変えられることが示された。
著者らは、暗黙の位置計画を調べるための実務的な枠組みを提示し、MCQの作成と評価の信頼性を高めるには制御可能な生成が重要だと強調している。