SCALE-LoRA：残差マージとビュー信頼性によるポストリトリーバルLoRA合成の監査

arXiv cs.AI / 2026/5/5

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

この論文は、オープンプールLoRAの再利用における重要な課題として、関連するLoRAアダプタを取得できてもパラメータ更新の互換性が保証されず、また合成しても出力の信頼性が担保されない点を扱います。
SCALE（Sparse-Composition Agreement Layer）は、取得後に監査と合成を行うためのフレームワークで、デプロイ可能な1.0*のマージ経路に加えて、多視点の不一致に基づくよりコストの高い信頼性解析層を含みます。
LASRCは、線形アンカーを保持しつつブロック単位のアダプタ更新方向を残差化することで、マージ干渉を抑え、スパース残差合成の安定性を高めます。
信頼性層では、スパース合成の「ビュー」間での不一致を観測可能な不確実性シグナルとして扱い、合意度、サポート損失の代理による選択、オラクル上振れなどを、明示的な経路コストも考慮しながら比較します。
実験ではFLAN-T5-Large、BIG-Bench Hard、97-LoRAの設定で、固定された取得の下でLASRCが方向性のある単一ビュー改善をもたらすこと、さらにクエリラベル不要のSCALE-support（較正済みまたはスループット同等のセレクタではない信頼性解析版）を報告し、別のデコーダのみバックボーンでも定性的傾向が一貫することが示されています。