RAGか学習か？現実世界における連続的な知識ドリフト下でのLLM適応の限界を理解する

要旨: 大規模言語モデル（LLM）は、その知識の大部分を事前学習の間に獲得するため、世界の固定されたスナップショットに結びつき、継続的に進化する知識への適応が難しくなります。事実、実体、出来事は時間とともに変化するため、モデルは連続的な知識ドリフトを経験し、その結果として、単に予測が古くなるだけでなく、時間的に一貫性のない推論が生じることがあります。継続的ファインチューニング、知識編集、検索拡張生成（RAG）といった既存の手法は、モデルの知識を更新したり補完したりすることを目的としていますが、時系列に沿って進化し、現実世界の知識の変遷を反映するような設定で評価されることはほとんどありません。本研究では、知識が時間とともにどのように進化するかを捉えるタイムスタンプ付きの証拠から構築した、現実世界の動的イベントに関する新しいベンチマークを導入します。これにより、連続的な知識ドリフト下でのモデル適応を体系的に評価できるようになります。このベンチマークは、バニラRAGやいくつかの学習ベース手法を含む多くの既存手法がこの設定の下でうまく機能できないことを示し、壊滅的忘却や時間的不整合といった重要な限界を明らかにします。これらの限界を軽減するために、追加の学習なしでLLMがより時間的に一貫性のある理解を行えるよう、取得した証拠を段階的にイベント進化グラフへと整理する時間認識型リトリーバルのベースラインであるChronosを提案します。全体として、本研究は、現実的な状況において連続的な知識ドリフトへのLLM適応を分析し、発展させるための基盤を提供します。