HiCI: 長文脈注意のための階層的構築・統合（Hierarchical Construction-Integration）
arXiv cs.CL / 2026/3/24
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、セグメント（区間）レベルの表現を明示的に構築し、それらをグローバルな文脈へ統合したうえで、さらにセグメントレベルの注意を両方に条件付けする階層的注意モジュールであるHiCI（Hierarchical Construction–Integration）を提案する。
- 実験では、5.5%未満の追加パラメータでLLaMA-2に対するパラメータ効率的な適応を行い、コンテキスト長を4Kから最大100Kトークン（7B）および64Kトークン（13B）へ拡張する。
- 言語モデリング、検索、指示追従の各ベンチマークにおいて、HiCIは強力なベースラインに対して一貫した改善を示し、話題検索ではプロプライエタリなモデルと競合する性能も達成している。
- 本手法は、長文脈モデリングにおいてローカルからグローバルへの情報構造化をより明示的にする帰納バイアスを追加するものだと説明されており、コード理解においてGPT-3.5-Turbo-16Kに対しても改善が得られる。
- 総合的な結果から、単なるトークンレベルのスケーラビリティを超えて、長文脈注意のための有効なアーキテクチャ上の方向性として、明示的な階層構造化が機能し得ることが示唆される。
