大型言語モデルにおける時間的事実の衝突: DYNAMICQAとMULANを統合した再現性に関する洞察

要約：大規模言語モデル（LLMs）は、訓練データ内の古くなった情報または進化する情報のために、時間的な事実の衝突に直面することがよくあります。二つの最近の研究は、外部文脈がこのような衝突を効果的に解決できるかどうかについて、反対の結論を報告しています。DYNAMICQA は、外部文脈がモデルの出力分布をどれだけ効果的に変えるかを評価し、時系列の事実は変化に対してより抵抗性があると結論付けています。対照的に、MULAN は外部文脈がどのくらい頻繁に記憶された事実を変更するかを調べ、時系列の事実は更新しやすいと結論付けています。この再現性論文では、まず両方のベンチマークの実験を再現します。次に、それぞれの研究の実験を相手のデータセット上で再現し、彼らの意見の相違の原因を調べます。所見の直接比較を可能にするため、両データセットを各研究の評価設定と一致するよう標準化します。特に、LLM を用いて、DYNAMICQA の所見を再現する際に MULAN のプログラム的に構築された文を置換する、現実的な自然言語コンテキストを合成的に生成します。私たちの分析は、データセット依存性が強いことを示しています。MULAN の知見は両方の方法論的枠組みの下で一般化される一方で、DYNAMICQA に対して MULAN の評価を適用すると混在した結果になります。最後に、元の研究はいずれも 7B の LLM のみを対象としましたが、サイズの異なる LLM にわたってこれらの実験を再現し、モデルサイズが時間的事実の符号化と更新にどのように影響するかを明らかにします。私たちの結果は、データセット設計、評価指標、およびモデルサイズが、時間的知識の衝突が存在する場合の LLM の挙動をどう左右するかを明らかにします。