疎な監督からの安定なアバター編集のための情報正則化付き制約付きインバージョン

Abstract

動かせるヒト型アバターの編集は通常、疎な教師データに依存し、しばしば数個の編集済みキーフレームのみを用います。しかし、再構成したアバターをこれらの編集内容に単純に当てはめる（フィットする）と、アイデンティティの漏洩や、姿勢に依存した時間的なちらつきが頻繁に生じます。我々はこれらの失敗は、条件が不適切な（ill-conditioned）逆問題として最もよく理解できると主張します。すなわち、利用可能な編集制約が、意図した編集を担う潜在方向を十分に決定していないのです。そこで、構造化されたアバター潜在空間において編集を制約付きの逆問題として実行する、条件付けに導かれた編集済み再構成フレームワークを提案します。低次元の、部位固有の編集サブスペースに更新を制限することで、意図しないアイデンティティの変化を防ぎます。重要なのは、逆問題の最中に、完全なデコーディング・レンダリングのパイプラインを局所的に線形化したものから導かれる条件付け目的関数を最適化し、それによって編集サブスペースの情報行列を設計することです。この情報行列のスペクトルが安定性を予測し、フレームの再重み付け／キーフレームの活性化を導きます。その結果得られる手法は、小さなサブスペース行列上で動作し、効率よく実装できます（例：ヘッシアン・ベクトル積を用いることで可能）。また、編集済み教師が限られている状況でも安定性が向上します。