概念が変わるタイミングを学ぶ：交絡、不変性、次元削減

arXiv stat.ML / 2026/4/2

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、観測されない交絡が予測のための最適な「概念」やモデルを変え得る、分布シフト下でのドメイン適応を扱う。
内生性を扱うために線形の構造因果モデルを導入し、不変な共変量表現によって概念のシフトを防ぎ、目標ドメインでのリスクを改善する。
著者らは、低次元の線形部分空間を見出し、予測器をその部分空間に制限する表現学習アプローチを提案し、予測可能性と安定性のバランスを取る。
最適化はステーフェル多様体上の制約付き非凸問題として定式化され、射影勾配法スタイルの手法で解かれ、最適化地形の解析も行う。
十分な正則化があれば、多くの局所最適が不変な部分空間に対応し、分布シフトに対して頑健であることを示す理論を提供し、実データセットでその妥当性を検証する。

Abstract

実務者は、共変量と応答の分布がずれた新しい環境に予測モデルを展開する際、しばしば大きな課題に直面します。観測データでは、こうしたシフトはしばしば観測されない交絡（unobserved confounding）によって生じ、実際に「どのモデルが最良か」という概念そのものを変えてしまうことがあります。本論文では、観測されない交絡を伴うドメイン適応問題における分布シフトを研究します。内生性と観測されない交絡を説明するために線形の構造因果モデルを仮定し、概念シフトを治癒してターゲット予測を改善するために、外生的な不変共変量表現を活用します。より低次元の線形部分空間と、その部分空間に閉じ込められた予測モデルを最適化するデータ駆動型表現学習手法を提案します。この手法は、予測可能性と安定性の間を補間する非凸目的関数を、Stiefel多様体上で制約し、射影勾配降下法の類似手法を用いて動作します。最適化の風景を解析し、十分な正則化が与えられるならば、ほぼすべての局所最適解が、分布シフトに対して頑健な不変な線形部分空間に整合することを証明します。この手法は、ターゲットリスクとソースリスクの間の理想に近いギャップを達成します。実世界のデータセットを用いて手法と理論を検証し、予測可能性と安定性のトレードオフを示します。