タスク不要のオンライン継続学習において、プロンプト選択は必要か？
arXiv cs.LG / 2026/4/7
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、データストリームが非定常でありタスク境界が存在しない「タスク不要のオンライン継続学習」を調査し、プロンプト選択戦略がしばしば不適切なプロンプトを選び、性能が低下すると主張する。
- その代替として、SinglePrompt というより単純な手法を提案する。各自己注意（self-attention）ブロックに固定のプロンプトを1つ注入し、分類器をより直接的に最適化することで、プロンプト選択の必要性を取り除く。
- 本手法では、分類器の忘却を抑えるためにコサイン類似度に基づくロジット（logit）の定式化を用い、さらに現在のミニバッチに存在しないクラスのロジットにはマスキングを適用する。
- 著者らは、複数のオンライン継続学習ベンチマークにおいて最先端の性能を報告し、GitHub リポジトリにソースコードを公開している。
- 全体として、この研究は、タスク不要の継続学習設定では、慎重に設計された単一プロンプトによる条件付けと分類器最適化が、適応的なプロンプト選択アプローチを上回り得ることを示唆している。
