ベイズ的ソフトマックス・ゲート付きミクスチャー・オブ・エキスパート・モデルについて

arXiv stat.ML / 2026/4/23

📰 ニュースModels & Research

共有:

要点

本論文は、よく使われるソフトマックス・ゲーティング機構を用いるベイズ的ミクスチャー・オブ・エキスパート（MoE）モデルについて、ベイズ枠組みにおける理論的性質を体系的に明らかにすることを目的としています。
密度推定、パラメータ推定、モデル選択の3つの主要タスクについて、漸近的な挙動を分析し、専門家（エキスパート）数を「固定既知」と「学習可能なランダム」の両方の設定で扱います。
密度推定では、専門家数が既知の固定数の場合と、学習可能なランダム数の場合のそれぞれで事後収縮率を導出しています。
パラメータ推定では、MoEに固有の識別可能性（identifiability）の複雑さを考慮した、カスタム化されたVoronoi型の損失関数に基づく収束保証を示しています。
モデル選択では、エキスパート数を決めるための2つの補完的な戦略を提案・解析し、実運用のMoE設計に理論的根拠を与える知見を提供します。