オープンセットのテストストリームにおける、多数から学習し未知に適応すること

要旨: 大規模言語モデル（LLM）は、再利用可能な表現と柔軟な推論によってタスク間で一般化するものの、進化するタスクや継続的な分布シフトの下で、実運用では脆さが残ります。一般的なアプローチとしてテスト時適応（TTA）がありますが、既存手法の多くは、パラメータ空間全体にわたって手設計の教師なし目的でモデルを更新する一方で、共有元知識の保持や、適応シグナルの信頼性の確保をほとんど考慮していません。ショウジョウバエにおける記憶更新の分子シグナル伝達カスケードに着想を得て、我々は、構造化されたTTA目的（問題理解、プロセス理解、ソースドメインのガードレールにより駆動）に基づき、Rac1およびMAPK経路のもとで低ランク・アダプタを更新する、パラメータ効率の高いLLM適応手法であるシナプス統合（SyCo）を提案します。Rac1は可塑性を、ソース知識に対して重要度がより低いテール勾配サブスペースに閉じ込めることで、ソース表現を保持しつつ迅速な専門化を可能にします。MAPKは階層型コントローラを用いてノイズの多い更新を抑制し、非定常なストリームのもとで有用な適応を統合します。複数のソースと、継続的に出現するタスクを伴う現実の運用をモデル化するために、複数ソースのオープンセット適応（MOA）設定を導入します。この設定では、モデルを複数のラベル付きソース・タスクで学習したのち、見えているタスクと見えていないタスクが、ラベル空間および意図空間に部分的な重なりをもって混在する、オープンかつ非定常なラベルなしテスト・ストリームで適応させます。18のNLPデータセットとMOA設定において、SyCoは強力なベースラインを一貫して上回り、未知タスク適応で78.31%、未知データシフトで85.37%を達成します。