固有値分解(EigenDecomposition)のためのバッチ効率の高い分割統治アルゴリズムに関する短報

arXiv cs.LG / 2026/5/1

📰 ニュースDeveloper Stack & InfrastructureModels & Research

要点

  • 固有値分解(ED)は多くのコンピュータビジョン処理の中核ですが、深層ニューラルネットにおけるミニバッチ行列に対して適用すると計算コストが高くなりがちな点がボトルネックになっています。
  • 本論文は、先行研究で提案されたQRベースのED(dim < 32向け)を発展させ、より大きな行列を対象にしたバッチ効率の高い分割統治(Divide-and-Conquer)型のED手法を提案します。
  • 対象は、比較的小さい次元のミニバッチで、具体的には行列次元が64未満のケースでの性能向上を狙っています。
  • 数値実験では、提案手法が該当するミニバッチ条件においてPyTorchのSVD関数よりも大幅に高速になり得ることが示されています。
  • 反復的にバッチ計算としてEDが必要な場面で、標準的なSVDベースの処理の代替となる効率的なアルゴリズムとして位置づけられています。

要旨: 固有値分解(ED)は、多くのコンピュータビジョンのアルゴリズムや応用の中核にあります。使用を制限する重要なボトルネックの1つは、特に深層ニューラルネットワークにおける行列のミニバッチに対して、計算コストが高いことです。私たちの先行研究では、(dim{<}32 の)小さな行列のバッチ処理向けに、QR ベースの専用 ED アルゴリズムを提案しました。本短報ではこの制限に取り組み、より大きな行列に対してバッチ効率の高い、Divide-and-Conquer(分割統治)に基づく ED アルゴリズムを提案します。数値実験の結果、行列の次元が 64 未満のミニバッチに対して、本手法は Pytorch の SVD 関数よりも大幅に高速になり得ることが示されました。