LLMsにおける長文コンテキスト推論のための分解（デコンポジション）的観点

Abstract

長文コンテキストにおける推論は、複雑な現実世界のアプリケーションにとって不可欠ですが、大規模言語モデル（LLM）にとっては依然として大きな課題です。長文コンテキスト推論の研究は急速に進展しているにもかかわらず、現在の研究の多くは、この長文コンテキスト推論タスクそれ自体の内部にある複雑さを見落としがちです。本論文では、この全体論的な見方を一歩進めて、長文コンテキスト推論を一連の基本的な「原子的（atomic）スキル」に分解し、さらにそれぞれの原子的スキルを明示的に狙った疑似データセット群を自動的に合成します。実験的な分析により、これらの原子的スキルの習熟度は、一般的な長文推論の性能と強く相関することが確認されます。この洞察に基づき、疑似データセット上で強化学習を行うことで、モデルの原子的スキルをより研ぎ澄まし、その一般的な長文コンテキスト推論能力の向上を目指します。複数のベンチマークにまたがる大規模な実験により、このアプローチの有効性が示されています。Loogle、Loong、LongBench-v2、BrowscompLong、Ruler-qa2、MRCRの各ベンチマークにおいて、強力なベースラインを平均で7.7 u%上回ります（46.3 u%から54.0 u%へ改善）。