すべてのための1つのアダプター: ステップ不均衡なクラス増分学習における統一表現へ
arXiv cs.CV / 2026/3/12
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 論文は、タスクサイズが変動し、大規模タスクが学習を支配することで小規模タスクからの更新が不安定になる「ステップ不均衡なクラス増分学習(CIL)」を対象とします。
- 本研究は One-A を提案します。これは統一的で不均衡を意識したアダプターで、タスクの更新を単一のアダプターへ逐次統合し、推論コストを一定に維持します。
- 主要な要素には、巨大タスクから学習した支配的なサブスペースを保持するための非対称サブスペース整合、ベースアダプターと新規アダプターの寄与をバランスさせる情報適応重み付け、および各特異方向に沿って更新を選択的に融合させる方向性ゲーティング機構が含まれ、安定性と可塑性を同時に保ちます。
- ステップ不均衡なストリームを含む複数のベンチマークにおいて、One-A は推論オーバーヘッドを大幅に抑えつつ競争力のある精度を発揮し、単一の非対称的に融合されたアダプターが動的なタスクサイズに適応し、展開を合理化できることを示しています。
クラス増分学習(CIL)は、時間をかけて新しいクラスを獲得しつつ従来の知識を保持することを目的しますが、多くの設定や手法はバランスの取れたタスクストリームを前提としています。実際には、タスクあたりのクラス数はしばしば大きく異なります。これを「ステップ不均衡」と呼びます。クラス数が多い大規模タスクが学習を支配し、小規模タスクは不安定な更新をもたらします。既存のCIL手法はタスクを均衡とみなしてすべてのタスクを同等に扱うため、不均衡な更新を生み出し、全体の学習性能を低下させます。この課題に対処するため、One-Aを提案します。これは単一のアダプターへタスク更新を逐次統合する統一的で不均衡を意識したフレームワークで、推論コストを一定に保ちます。One-Aは巨大タスクから学習した支配的なサブスペースを保持するよう非対称的サブスペース整合を行い、それらの内部で情報量の少ない更新を抑制します。情報適応型の重み付けはベースアダプターと新規アダプターの寄与をバランスさせ、方向性ゲーティング機構は各特異方向に沿って更新を選択的に融合し、頭部方向では安定性、尾部方向では可塑性を維持します。複数のベンチマークとステップ不均衡なストリームにわたり、One-Aは推論オーバーヘッドを大幅に抑えつつ競争力のある精度を達成し、単一の非対称に融合されたアダプターが動的なタスクサイズに適応し、展開を効率化できることを示しています。