依頼したことを忘れましたか？ 大規模言語モデルにおける展望記憶の失敗

要旨: 大規模言語モデルは、要求の厳しいタスクを同時に実行しなければならない場合に、しばしばフォーマット指示を満たせません。本研究では、認知心理学における展望記憶（prospective memory）に着想を得た観点から、この挙動を検討します。検証可能なフォーマット制約と、複雑性が増すベンチマーク・タスクを組み合わせた制御されたパラダイムを用います。3つのモデル系列および8,000件超のプロンプトにわたって、並行タスク負荷下ではコンプライアンスが2-21%低下します。脆弱性はタイプに強く依存します。終端制約（応答の境界での行動を要求するもの）が最も悪化し、低下は最大50%に達します。一方で回避制約は、比較的頑健です。顕著性を高めたフォーマット（明示的な指示の枠組み付けに加えて、末尾のリマインダー）により、失われたコンプライアンスの多くが回復し、多くの状況で性能を90-100%にまで戻せます。干渉は双方向です。フォーマット制約はタスク精度も低下させ得ます。あるモデルではGSM8Kの精度が93%から27%へと低下しました。追加のスタッキング実験では、制約が蓄積されるにつれて、共同コンプライアンスが急激に低下します。すべての結果は、公的に利用可能なデータセット上で、LLMを審判として用いるコンポーネントなしの決定論的なプログラムによる検査器（checkers）を用いています。