KALAVAI：独立した専門家向けのファインチューニング融合がいつ有効になるかを予測する——事後（post-hoc）の協調的LLM訓練のための定量モデル
arXiv cs.CL / 2026/3/25
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- KALAVAIは、独立にファインチューニングされたドメイン専門家LLMを1つのMoEスタイルモデルへ融合するための事後（post-hoc）手法を提案しており、各専門家を上回る性能が得られる。獲得（gain）は経験的に gain = 0.82×divergence − 2.72（R²=0.856）としてモデル化される。
- 本論文では、協調的融合の価値は事前に予測可能であり、発散（divergence）が約3.3%未満の領域では獲得が0に近づくことが報告されている。これにより、計算資源（compute）を使う前に融合が役立つ見込みを見積もれる。
- KALAVAIプロトコルでは、参加者が共有チェックポイントのコピーを独立にファインチューニングし、その後、約500ステップにわたるMoEルーティングによって軽量なルーティング処理として提出する。その結果、最良の専門家に対して一貫した改善が得られる（例：410Mで+7.72%、1Bで+7.49%）。
- ルーティングの有効性は、ドメイン・オラクル・ルーティングに非常に近い（<10^-5 nats）と報告されている。さらに、学習したルータが必要であり、一様平均は性能が劣り、学習済みルータであればオラクル最適な割り当てに到達できる。
- 単一言語をまたぐクロスリンガル実験や、より大規模な連合（フェデレーション）実験では大きな改善が示されている。例えば、Tamil/Yoruba/Welsh/Codeの融合で+21.76%、20人の参加者から成るフェデレーションで+16.71%の改善が得られた。加えて、共有初期化やチェックポイントの不一致に対する感度が限定されるといった制約下でも効果が確認されている。
