言語モデルにおける文理解ストラテジーを探るためのデュアルタスク・パラダイム

概要: 言語モデル（LM）は、特に読了時間などの文処理コストを予測する際に、認知資源が制限されると、人間のように振る舞う傾向があります。しかし、このような制約が同様に文理解の方略へ影響するかどうかは、なお不明です。さらに、既存の手法は、人間のワーキングメモリの中核である「記憶の保持」と「文処理」のバランスを直接の対象としていません。そこで本課題では、「2つのコクテル + ブレンド3 = ...」のような文理解課題と、算術計算課題を組み合わせたデュアルタスク・パラダイムを提案します。実験の結果、デュアルタスク条件下では、GPT-4o、o3-mini、o4-miniはいずれも、人間の合理的推論をなぞるように、もっともらしさ（ plausibility ）に基づく理解へとシフトすることが分かりました。具体的には、単一タスク条件と比べて、デュアルタスク条件では、もっともらしい文（例：「そのコクテルはバーテンダーによってブレンドされた」）と、そうでない文（例：「そのバーテンダーはコクテルによってブレンドされた」）との間で、精度の差がより大きくなります。これらの結果は、記憶と処理資源のバランスに関する制約が、LMにおける合理的推論を促進することを示唆しています。より広く言えば、それらは、人間らしい文理解が本質的に、限られた認知資源の割り当てによって生じる、という見方を支持します。