概要: 今日、畳み込みニューラルネットワークが画像処理分野における強力な問題解決能力を示していることから、2Dの顔画像または動画から詳細な顔の形状を復元する取り組みが行われてきました。しかし、CNNを最大限に活用するには、多数のラベル付きデータがネットワークの学習に必要です。粗いモーフィング可能な顔モデル（coarse morphable face model）は、ラベル付きデータを合成するために用いられてきました。しかし、粗いモーフィング可能な顔モデルは、しわのような細部を備えた写真のようにリアルなデータを生成するのが難しいという課題があります。本プロジェクトでは、単一のRGB画像から人間の顔の3Dモデルを復元するパイプラインを提示します。このパイプラインには、顔検出、ランドマーク検出、3DMMモデルパラメータの回帰、そしてソフトレンダリングが含まれます。指導教員: Zhipeng Fan（メール: zf606@nyu.edu） コードリポジトリ: https://github.com/SeVEnMY/3d-face- reconstruction コード参照: https://github.com/sicxu/Deep3DFaceRecon pytorch
単一RGB画像から3DMMフェイスモデルを用いた3Dヒト顔再構成
arXiv cs.CV / 2026/5/6
📰 ニュースModels & Research
要点
- この論文は、単一のRGB画像から3Dヒト顔モデルを復元するパイプラインを提案し、奥行きなどの追加入力なしで形状推定を可能にします。
- 顔検出とランドマーク検出に続いて、3DMM（3Dモルフォーブルモデル）のパラメータを回帰し、最後にソフトレンダリングを行う構成で、最終的な3D顔を生成します。
- 著者らは、学習データ生成に用いられる粗いモルフォーブル顔モデルの限界として、シワのような詳細まで含むフォトリアルなデータを作りにくい点を指摘しています。
- arXivのプレプリントとして公開されており、コードリポジトリとPyTorchの関連実装へのリンクも示されています。
