TinyNeRV：容量スケーリング、蒸留、低精度推論によるコンパクトなニューラル・ビデオ表現

要旨: 暗黙的なニューラル動画表現は、ニューラルネットワークのパラメータ内に動画シーケンス全体を符号化し、一定時間でフレームを復元できるようにします。動画のためのニューラル表現（NeRV）に関する最近の研究では、従来の動画コーデックにおける逐次デコード処理を回避しつつ、競争力のある復元性能が示されています。しかし、既存のほとんどの研究は中程度または高容量のモデルに焦点を当てており、制約のある環境で必要となる極めてコンパクトな構成に求められる挙動は十分に調べられていません。本論文では、効率的な展開を目的とした小型NeRVアーキテクチャの体系的な研究を示します。2つの軽量構成、NeRV-TおよびNeRV-T+を導入し、複数の動画データセットにわたって評価することで、過度な容量削減が復元品質、計算の複雑さ、そしてデコードスループットにどのように影響するかを分析します。アーキテクチャのスケーリングに加えて、本研究では、推論コストを増やさずにコンパクトモデルの性能を向上させる戦略を探究します。低容量ネットワークにおける復元の忠実度を高めるために、周波数を意識した焦点付き教師あり学習（知識蒸留）を検討します。さらに、数値精度を低下させた状況での小型モデルの頑健性を調べるために、事後学習量子化と量子化を意識した学習（QAT）の両方を通じて低精度推論の影響を検討します。実験結果は、注意深く設計された小型NeRVの各バリアントが、パラメータ数、計算コスト、メモリ要件を大幅に削減しつつ、良好な品質効率のトレードオフを達成し得ることを示しています。これらの知見は、コンパクトなニューラル動画表現における実用上の限界についての洞察を提供し、資源が限られたリアルタイム環境でNeRVスタイルのモデルを展開するための指針を与えるものです。公式実装は https: //github.com/HannanAkhtar/TinyNeRV-Implementation で利用可能です。