学習する前に見る：人間の視覚認知を美的品質評価に取り込む

概要: 自動美的品質評価（Aesthetic Quality Assessment: AQA）は、画像を主として静的なピクセルベクトルとして扱い、意味的な知覚によって予測を人間の評価スコアに概ね整合させます。しかし、このパラダイムは、人間の美的認知とは異なります。人間の美的認知は、スキャン経路によって形作られる動的な視覚探索、処理の流暢さ、そしてボトムアップの顕著性とトップダウンの意図の相互作用から生じます。私たちは、人間の認知に着想を得た新しいAQAパラダイムであるAestheticNetを提案します。これは、人間のような視覚認知と意味的知覚を、二経路アーキテクチャで統合するものです。視覚的注意経路は、視線整合型ビジュアルエンコーダ（GAVE）として実装され、人間の視覚システムから注意をモデル化します。このGAVEは、資源効率の高いコントラスト視線アライメントを用いて、眼球運動（アイ・トラッキング）データ上でオフライン学習により事前学習されます。この経路は、CLIPなどの固定された意味エンコーダを用いる意味経路を、クロスアテンションによる融合を通じて補強します。視覚的注意は、前景／背景の構造、色のカスケード、明るさ、照明といった認知的な事前知識を提供します。これらは、意味にとどまらず、美的知覚を決定づける要因です。仮説検定によって検証された実験では、意味のみのベースラインに比べて一貫した改善が示され、さらに、視線モジュールが、多様なAQAバックボーンに対応可能なモデル非依存の補正器として機能することが実証されます。これは、AQAにおいて人間のような視覚認知が必要であり、かつモジュールとして独立性を持つことを裏付けます。私たちのコードは https://github.com/keepgallop/AestheticNet で公開しています。