カスケード低ランク近似による高次の進化の追跡
arXiv cs.LG / 2026/4/14
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、高次拡散モデルを扱い、生成動力学のファミリーを拡張するために、一次の速度場だけでなく加速度やジャークのような導関数も学習する。
- 主要なスケーリングのボトルネックとして、素朴な高次モデルでは導関数の次数ごとに別々のネットワークが必要になり、次数に比例してパラメータ数が増大する点を取り上げる。
- 提案手法であるカスケード低ランク近似は、共有される基底関数を再利用しつつ、順次的に低ランク成分を追加することで、連続する導関数をより効率的に近似する。
- 著者らは、導関数次数間で行列のランクがどのように変化するかについて理論を示し、分解可能性の仮定の下でランクが単調非増加することを証明する。また、一般化ライプニッツ則（General Leibniz Rule）により、ランク増大がその仮定なしでも起こり得ることを示す。
- さらに、条件のもとで導関数ランク系列を任意の順列として形成できることを示し、効率的な計算のための簡単なアルゴリズムも提示する。
