LiFT：指示ファインチューニングは大規模言語モデルの時系列（縦断）モデリングにおけるインコンテキスト学習を改善するか？

arXiv cs.CL / 2026/4/21

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、時系列で並んだテキストにもとづいて「持続」と「変化」を見分けるための推論力を、大規模言語モデルに高めることを目的とした縦断（ロングリューディナル）指示ファインチューニングの枠組みLiFTを提案している。
LiFTは、多様な縦断NLPタスクを共通の指示スキーマで統一し、時間的な難易度を段階的に高めるカリキュラムに加えて、few-shot構造と時間条件付けを組み合わせて、過去文脈の活用を促す。
著者らは5つのデータセットで評価し、時間的粒度の異なるデータで学習したモデルが別データセットでもどれだけ汎化するかを検証している。
OLMo（1B/7B）、LLaMA-8B、Qwen-14Bといった複数のモデル規模において、LiFTはベースモデルのICLより一貫して性能を上回り、とりわけ分布外データや希少な（少数の）変化イベントで大きな改善が見られる。