TokenLight：属性トークンによる画像の精密ライティング制御

arXiv cs.CV / 2026/4/17

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

TokenLightは、画像のリライティングを条件付き画像生成として扱い、複数の照明属性をきめ細かく連続的に制御できる新しい手法です。
「属性トークン」を導入して、強度・色・環境光や拡散レベル・3Dのライト位置といった異なる照明要因を表現し、狙った編集を可能にします。
学習は、照明の真値アノテーションを持つ大規模な合成データセットに加えて、現実画像の小規模なキャプチャを組み合わせ、リアリティと汎化性を高めます。
合成画像と実画像の両方で検証し、シーン内の照明器具の制御や、仮想ライトによる環境光の編集など多様なリライティング課題で最先端の性能を示します。
特筆すべき点として、明示的な逆レンダリングの監督なしに、幾何形状・遮蔽・材質との光の相互作用を自然に学習し、物体内部へのライト配置や透明材のような難しいケースでも説得力のあるライティング効果を実現します。

Abstract

本論文は、写真において複数の照明属性を正確かつ連続的に制御できる画像リライティング（照明の付け替え）手法を提案する。リライティングを条件付き画像生成タスクとして定式化し、強度、色、環境光（アンビエント照明）、拡散レベル、3Dの光源位置といった異なる照明要因を符号化するための属性トークンを導入する。モデルは、大規模な合成データセットに対して、照明の真値アノテーション付きで学習し、現実感と汎化性を高めるために少量の実撮影データを補助的に用いる。合成画像および実画像において、シーン内の照明器具の制御や、仮想的な光源を用いた環境照明の編集など、さまざまなリライティング課題で本手法を検証する。本手法は、先行研究と比べて最先端の定量的および定性的性能を達成する。特筆すべき点として、明示的な逆レンダリングの教師信号（inverse rendering supervision）がないにもかかわらず、本モデルは光がシーンの幾何形状、遮蔽（オクルージョン）、およびマテリアルとどのように相互作用するかを本質的に理解していることが示され、物体の内部に光を配置するといった、従来は特に難しい状況や、透明マテリアルをもっともらしくリライティングするような状況でも説得力のある照明効果を生成できる。プロジェクトページ: vrroom.github.io/tokenlight/