SepSeq：LLMにおける長い数値シーケンス処理のための訓練不要フレームワーク

arXiv cs.CL / 2026/4/10

💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、Softmax注意機構によって関連する位置への注意が行き届かないことで、注意が分散し、LLMが長い数値シーケンスに対して性能低下を起こすと主張している。
訓練不要かつプラグアンドプレイ可能なフレームワークであるSepSeqを導入し、区切りトークンを挿入して「注意の受け皿（attention sink）」を作ることで、モデルがローカルなセグメントに集中しつつもグローバルな文脈を保持できるようにする。
9つの人気LLMにわたる実験により、長い数値シーケンス処理において、多様な領域で平均相対精度が35.6%向上することを示している。
この手法は平均で総推論トークン消費量も16.4%削減しており、精度向上と同時に効率性の改善も確認できる。