画質を超えて：低レベル画像処理における意味類似度評価

概要: 低レベルの画像処理は、長らく主に視覚的な忠実度の観点から評価されてきました。しかし、深層学習や生成モデルの台頭により、処理された画像は知覚品質を保持しつつ意味内容を変化させる可能性があります。このため、従来の画像品質評価（IQA）は意味レベルの評価には不十分になり得ます。本論文では、処理後に意味内容が保持されているかどうかを測ることを目的として、低レベル画像処理のための新しい評価課題として extit{Semantic Similarity（意味類似性）} を定式化します。さらに、意味エンティティとそれらの関係に基づく画像意味の構造化された定式化を提示し、有効な意味類似性指標に望まれる性質と制約について議論します。この定式化に基づき、Triplet-based Semantic Similarity Score（T3S）を提案します。T3Sは、前景エンティティ、背景エンティティ、関係を通じて画像の意味をモデル化します。T3Sは、意味エンティティ抽出、前景と背景の分離、そしてオープンワールドのクラス／関係モデリングを組み合わせます。COCOおよびSPA-Dataでの実験により、T3Sは既存の忠実度志向の指標および代表的な意味レベルのベースラインを一貫して上回り、多様な劣化条件下での段階的な意味変化をより適切に反映することが示されます。これらの結果は、現代の低レベル視覚における意味の評価の重要性を浮き彫りにします。