SIEVE: 自然言語からのサンプル効率の高いパラメトリック学習
arXiv cs.LG / 2026/4/6
📰 ニュースSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- SIEVEは、プロンプトのみに頼るのではなく、モデル重みを更新しつつ自然言語の文脈を用いて言語モデルを適応させる、新しいサンプル効率の高いパラメトリック学習手法である。
- 本手法は、合成データ生成パイプラインであるSIEVE-GENを用いる。これは、文脈を分解して、合成クエリと文脈の中で関連する部分だけを組み合わせることで、より高品質なロールアウトを生成する。
- 次にSIEVEは、文脈蒸留（context distillation）を適用し、（分解された）文脈をモデル内部に取り込むことで、学習に必要なクエリ例の量を削減することを狙う。
- 文脈が重要である推論タスク（例：カスタム領域、RuleArena、1冊からの機械翻訳）における評価では、SIEVEは従来の文脈蒸留手法よりも優れた性能を示し、クエリ例が最小で3つでも達成できる。
