低ランクテンソル回帰モデルに対する漸近的オプティミズム：ニューラルネットワーク圧縮への応用

Abstract

本研究では、ランダム共変量デザインの下での低ランクテンソル回帰に対するランク選択を扱います。ガウスのランダム設計モデルといくつかの穏やかな条件のもとで、CP分解およびTucker分解の双方について、期待される訓練―テスト間の食い違い（楽観バイアス）に関する母集団表現を導出します。さらに、この楽観バイアスがCP回帰およびTucker回帰のいずれにおいても真のテンソルランクで最小化されることを示します。これにより、交差検証と整合し、さらにテンソル・モデル平均化へ自然に拡張できる、予測志向のランク選択則が得られます。また、過小ランクまたは過大ランクのモデルが望ましいように見える可能性がある条件について議論し、手法の適用範囲を明確化します。最後に、実世界の画像回帰タスクにおける実用上の有用性を実証し、さらにニューラルネットワークのテンソルベース圧縮へと適用を拡張し、深層学習におけるモデル選択の可能性を強調します。