Inclusion-of-Thoughts: 決定空間を浄化することで嗜好の不安定性を緩和する

要旨: 多肢選択問題（MCQ）は、大規模言語モデル（LLM）を評価するために広く用いられている。 しかし、LLMはもっともらしい紛らわしい選択肢（ディストラクタ）の存在に対して依然として脆弱である。 このことはしばしば、無関係な選択肢に注意を逸らし、その結果として正答と誤答の間で不安定に振動することにつながる。 本論文では、この認知負荷（すなわち、ディストラクタの存在下でのモデル嗜好の不安定さ）を軽減し、モデルがもっともらしい解答により効果的に焦点を当てられるように設計した、漸進的な自己フィルタリング戦略 Inclusion-of-Thoughts（IoT）を提案する。 我々の手法は、もっともらしい選択肢のみを用いてMCQを再構成し、比較判断を検討するための制御された状況、したがって撹乱下におけるモデル内部の推論の安定性を提供する。 このフィルタリング過程を明示的に記録することで、IoTはモデルの意思決定の透明性および解釈可能性も高める。 大規模な実験的評価により、IoTは、最小限の計算オーバーヘッドで、算術、常識推論、教育ベンチマークの幅広い領域にわたって、チェーン・オブ・ソート（逐次思考）の性能を大幅に向上させることが示される。