Abstract
暗黙的ニューラル表現（INR）の近似性能と収束特性は、パラメータ初期化戦略に対して非常に敏感であることが知られています。いくつかのデータ駆動型の初期化手法は、標準的なランダムサンプリングと比べて大幅な改善を示しますが、その成功の理由――具体的には、それらが古典的な統計的信号の事前知識をエンコードしているのか、それともより複雑な特徴をエンコードしているのか――は、いまだ十分に解明されていません。本研究では、ノイズ・プリトレーニングを活用した一連の実験分析を通じて、この現象を検討します。ガウス（Gaussian）、デッド・リーヴス（Dead Leaves）、スペクトラル（Spectral）など、さまざまなノイズクラスに対してINRを事前学習し、未見の信号を当てはめる能力と、逆問題のイメージング課題（デノイジング）に向けて事前知識をエンコードする能力の両方を測定します。画像および動画データに対する分析から、驚くべき発見が得られました。構造化されていないノイズ（Uniform、Gaussian）で単に事前学習するだけで、他のすべてのベースラインと比べて、信号当てはめ能力が劇的に向上するのです。しかし、構造化されていないノイズは、デノイジングにおける良い深い画像事前知識（deep image priors）ももたらしません。これに対して、自然画像が持つ古典的な 1/|f^\alpha| のスペクトル構造を持つノイズは、信号当てはめと逆イメージング能力の優れたバランスを達成し、最良のデータ駆動型初期化手法と同等の性能を示すことも分かりました。この発見により、十分な事前ドメイン特化データが存在しないアプリケーションにおいて、より効率的にINRを訓練できるようになります。詳細はプロジェクトページ https://kushalvyas.github.io/noisepretraining.html をご覧ください。
