スケーラブルな表データが一般的な長文コンテキスト推論をどのように強化するかを探る

要旨: 現実世界のタスクがますます複雑になるにつれ、長文コンテキストに基づく推論は、大規模言語モデル（LLM）にとって中核となる能力になってきています。しかし、どのデータ型が長文コンテキスト推論に有効で、なぜ有効なのかを探る研究はほとんどありません。私たちは、周期的な構造をもつ構造化テーブルデータが、長文コンテキスト推論に強い可能性を示すことを見出しました。この観察に動機づけられ、相互情報量を用いて、テーブルデータの表形式の依存関係構造を数学的に解析し、表データにおいて周期的に消えない（非ゼロの）依存関係が存在することを明らかにします。さらに、構造化テーブルデータの能力を体系的に分析し、関連するスケーリング実験を行い、そのメカニズムが長文コンテキスト推論を強化する根本にあることを検証することで、いくつかの有意義な洞察を得ます。これらの洞察を活用し、RLによって長文コンテキスト推論を後押しするために、高品質で多様かつ検証可能な構造化テーブルデータを合成する、シンプルでスケーラブルなパイプライン（TableLong）を提案します。大規模な実験結果により、テーブルデータが、複数の長文コンテキスト・ベンチマーク全体でLLMの長文コンテキスト推論能力を大きく向上させることが示されています（平均 +8.24%）。さらに、ドメイン外ベンチマークでも性能が改善し（平均 +8.06%）、その効果が確認されます。私たちは、これらの洞察が、LLMの長文コンテキスト推論を強化するための効果的な事後学習データに関する実践的な指針を提供できることを願っています。