Evolve：小規模言語モデルのための永続的な知識ライフサイクル
arXiv cs.LG / 2026/4/28
📰 ニュースDeveloper Stack & InfrastructureModels & Research
要点
- Evolveは、2B規模のローカル言語モデルに、教師モデルがコンパイルした永続的な知識ストア（概念境界で意味的に一貫したセクション）を組み合わせ、小規模モデルの精度を継続的に引き上げる仕組みを提案しています。
- クエリ時の断片検索ではなく、獲得した新規セクションを段階的に投入し、「スリープ・コンソリデーション」として教師モデルによるマージでオフライン統合したうえで、期限切れ時にはインラインで更新します。
- 750件のベンチマーク（専門家向け質問、NaturalQuestions、TriviaQA）で、2Bモデルの精度はベースラインの20〜33%から60〜84%（+40〜52ポイント）へ大幅に向上し、さらにクエリ間での知識再利用により教師モデル呼び出しを50%以上削減しています。
- 統合後に知識ストアを31〜33.5%圧縮しても精度を維持でき、ライフサイクルのあらゆる条件でセクションベース検索がチャンクベース検索を5〜9ポイント上回ります。
- 同一の知識ライフサイクル上で、「suppress」（セクションのみで厳密に根拠づけ、監査可能）と「augment」（セクションに補助を加える）の2つの生成モードに対応します。
