多ターン言語モデルにおける時間的整合性の評価

要旨: 言語モデルは、ユーザが事実について時間をまたいで推論する、対話的な環境でますます導入されつつあります。このような状況では、正しい振る舞いのためには、会話の中で以前に確立された暗黙の時間的前提を、モデルが保持し更新し続ける必要があります。本研究では、この課題を「時間スコープ安定性」の観点から取り上げます。すなわち、対話のターンをまたいで、時間スコープ付きの事実的文脈を保持し、上書きし、または転送できる能力です。私たちは、Wikidataに基づく決定論的に生成された100万件超の質問連鎖から成る、大規模な診断ベンチマーク「ChronoScope」を提案します。これは、制御されたマルチターン対話において時間スコープの振る舞いを切り分けることを目的としています。ChronoScopeは、フォローアップ質問で明示的な時間参照が省略されているときに、モデルが推論された時間スコープを正しく保持できるかを評価します。評価には、暗黙の持ち越し、明示的なスコープ切り替え、エンティティをまたいだ転送、より長い時間的軌跡が含まれます。最先端の言語モデルを広範に評価した結果、制御されたマルチターン設定において時間スコープ安定性がしばしば破られることが分かりました。多くの場合、基盤となる知識が正しいにもかかわらず、モデルは現在時点の前提へと漂ってしまいます。これらの失敗は、対話の長さとともにいっそう深刻化し、オラクル・コンテキスト条件下でも持続します。これは、単一ターンにおける事実の正確さと、逐次的な対話のもとでの首尾一貫した時間推論との間にギャップがあることを示しています。私たちは、データセットと評価スイートを https://github.com/yashkumaratri/ChronoScope で公開します