LatentBurst：ヘキサデカBayerパターンCIS画像向けの高速・効率的マルチフレーム超解像

要旨: 本論文では、バーストヘキサデカバイヤ（Hexadeca Bayer）パターンのコンタクトイメージセンサ（CIS）画像向けの、新しいマルチフレーム超解像ネットワーク（MFSR）を提案する。このネットワークは、デモザイキング、デノイズ、マルチフレーム融合、超解像を含む。高品質な再構成ネットワークの設計には、以下のようないくつかの課題がある。1) バイヤ色フィルタアレイ（CFA）パターンとは異なり、同一色グループ間の画素間距離が大きいため、ヘキサデカバイヤ・パターンを補間することが難しい。2) 大きな物体の動きおよびカメラの移動により、最終的な融合結果は通常、位置ずれによってぼ blur 画像やゴーストアーティファクトが生じる。3) 提案ネットワークは、モバイルデバイス上でリアルタイムに動作するために、高速かつ効率的である必要がある。これらの課題を克服するために、本論文では LatentBurst という新しいネットワークを提案する。LatentBurst には、以下が含まれる。1) 大きなモーション状況に対処するための、潜在特徴におけるピラミッド整合・融合アプローチ。2) モバイルデバイス上で効率よく動作できる、効率的な UNet ベースの構造。3) ドメインギャップをより効果的に低減するための、微調整した光フロー推定と、2段階の知識蒸留。各種シナリオでの実験結果は、提案手法が他の最先端手法と比較して有効であることを示している。