エネルギー・ベース制約ネットワーク：モダリティ横断での構造的整合性の学習

要旨: 本稿では、エネルギーベースの制約ネットワーク――対モダリティに依存しないアーキテクチャ――を導入します。このアーキテクチャは、コントラスティブなペアから構造的な整合性を学習します。システムは、状態空間モデルとデュアルヘッドの注意機構によって凍結したエンコーダ埋め込みを処理し、構造の一貫性を測るスカラーのエネルギーと、違反箇所を局所化する位置ごとのエネルギースコアを生成します。独立して学習された複数の枝（ブランチ）が異なる違反タイプを検出し、推論時には干渉することなく合成します。
本フレームワークを2つの領域で示します。テキストでは、学習済みの破損（コラプション）タイプに対して93.4%の精度、9つの未見タイプに対して87.2%の精度を達成します。ここでは、凍結したBERTと、訓練可能パラメータ740万（7.4M）を使用します。視覚では、同じアーキテクチャが競争力のあるディープフェイク検出を実現します。FaceForensics++ のDeepfakesでAUCが0.959、Celeb-DFで0.870です。いずれもCeleb-DFの訓練データを一切用いず、凍結したDINOv2と、ブランチごとに360万（3.6M）パラメータを用いています。
本フレームワークは柔軟な学習をサポートします。すなわち、設計者が指定した破損から学習すること、実世界のペアデータから学習すること、または両方から学習することが可能です。合成可能な枝には、表現（レプレゼンテーション）の互換性が必要です――この知見は、大規模な実験を通じて検証されました。互換性のない5つのアプローチは失敗し、互換性のあるものが成功しました。アーキテクチャはエンコーダに非依存であり、ドメインにも非依存です。ドメインを変えるには、新しい破損戦略を用意するだけで済みます。エンコーダを変えるには、新しい入力射影（プロジェクション）層を用意するだけで済みます。我々の知る限り、各位置への分解を伴う明示的なエネルギー地形（エネルギー・ランドスケープ）として、モダリティ内の構造的整合性を学習する最初のアーキテクチャであり、さらに破損の再指定（コラプション・レスペシフィケーション）だけで、同じアーキテクチャがモダリティを越えて転移できることを示した初めてのものです。