COMPASS：適応的セマンティック・サンプリングによる継続的多言語PEFT
arXiv cs.LG / 2026/4/23
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- COMPASSは、多言語LLMの言語間での性能差を、負のクロスリンガル干渉を抑えることで改善することを目的としています。
- 言語ごとの軽量なアダプタをパラメータ効率の高い微調整（PEFT）で学習し、補助となる多言語データの一部を慎重に選んで投入します。
- COMPASSは分布に応じたサンプリングを行い、多言語埋め込みをクラスタリングして、既存の学習カバレッジと目標の利用分布の間のセマンティックギャップを特定します。
- さらにCOMPASS-ECDAとして継続学習に拡張し、プロダクションでのデータ分布の変化を監視してアダプタを動的に更新することで、モデルの陳腐化を防ぎつつ既存知識を維持します。
- 複数のモデルアーキテクチャと多言語ベンチマークで検証した結果、COMPASSは言語的類似性に基づくベースラインより一貫して優れ、未出の長文コンテキスト課題でも性能を示します。
