統合型ハイブリッド・マスク対応トランスフォーマーによる高精細壁画修復

Abstract

古代の壁画は貴重な文化財ですが、多くの作品が環境への曝露、材料の経年劣化、人間の活動によって深刻な劣化を受けています。これらの美術品の修復は、失われた大規模な構造を再構成することと、真正で損傷のない領域を厳密に保存することの両方を必要とするため、困難です。本論文では、高忠実度の壁画復元のための統一フレームワークであるHybrid Mask-Aware Transformer（HMAT）を提案します。HMATは、頑健な局所テクスチャのモデリングのためのMask-Aware Dynamic Filteringと、長距離の構造推論のためのTransformerボトルネックを統合します。さらに、劣化の多様な形態に対処するため、マスク条件付きスタイル融合モジュールを導入し、生成プロセスを動的に導きます。加えて、有効な領域での忠実性を強制し、復元を失われた領域に集中させるために、ハードゲート付きのスキップ接続を備えたTeacher-Forcing Decoderを設計します。 本手法をDHMuralデータセットおよび厳選したNine-Colored Deerデータセットで、さまざまな劣化レベルの下で評価します。実験結果は、提案手法が最先端手法と比較して競争力のある性能を達成しつつ、より構造的に首尾一貫し、視覚的にも忠実な復元を生成できることを示します。これらの知見は、HMATが文化遺産の壁画をデジタル修復するための効果的な解決策を提供することを示唆しています。