物理インフォームド・トラッキング（PIT）

要旨: 本稿では、動画から単一粒子を追跡するための動画ベースの枠組みであるPhysics-Informed Tracking（PIT）を提案する。ニューラルネットワークのオートエンコーダが粒子をヒートマップのピーク（ランドマーク）として自動的に局在化し、オートエンコーダに埋め込まれた微分可能な物理モジュールが、既知の力学に従うように複数のランドマークを時間的に拘束する（軌跡）。新規のPhysics-Informed Landmark Loss（PILL）は、この予測された軌跡をランドマークに照合することで、ラベルなしで物理的整合性を強制する。その教師あり変種（PILLS）では、予測をシミュレーションから得られる正解の位置、速度、跳ね返りと比較し、エンドツーエンドのバックプロパゲーションを可能にする。教師ありおよび教師なし学習を支えるために、A）ランドマークのヒートマップによる追跡関連の構造と、B）背景ノイズおよびその後の画像再構成とを分離する分割ボトルネックを備えたオートエンコーダを用いる。評価として、再現された26要因のデザイン（n = 4レプリケート、64設定）を行い、その結果、PILLSはクリーンな条件とノイズのある条件の両方で、双線形および物理で洗練されたデコーダ出力に対して、一貫してサブピクセル追跡精度を達成することを示す。