因果的に分離された表現を学び合成するための介入

arXiv stat.ML / 2026/4/3

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、生成モデルは必ずしも高い表現力と構造化された潜在表現の間で選択する必要がないと主張している。
それは、因果的に分離された概念を学習するために、そうでなければ任意のブラックボックス生成モデルに追加できる「コンテキスト・モジュール」を導入する。
本手法は因果的介入に着想を得ており、学習中に状況（コンテキスト）間でコンパクトな共同表現を獲得するために、アーキテクチャを選択的に修正する。
著者らは、学習された表現が実データセットおよびシミュレーション・データセットの両方において、構成的な外部分布（OOD）生成を可能にすることを報告している。
さらに、構造化された表現の回復に関する先行研究を拡張する新しい同定可能性（identifiability）の結果によって理論的裏付けを与えている。

Abstract

生成モデルを設計する際、有用な潜在構造を学習するためには、表現力と構造の間に本質的な緊張関係がある、というのが一般的な考え方である。本論文では、この見解に対して反論し、因果的に分離された概念を同時に学習する、任意に表現力の高い生成モデルを学習するための新しいアプローチを提案する。これは、極めて複雑なブラックボックスモデルに単純なコンテキスト・モジュールを追加することで実現する。このモジュールは、モデルのエンコーダから得られる線形表現を暗黙に逆変換することによって、概念情報を処理する方法を学習する。因果モデルにおける介入という考え方に触発されて、我々のモジュールは学習中に選択的にアーキテクチャを修正し、異なるコンテキストにまたがるコンパクトな結合モデルを学習できるようにする。さらに、このモジュールを追加することで、実データとシミュレーションデータの両方における分布外生成のために合成可能な、因果的に分離された表現が得られることを示す。得られるモデルは、エンドツーエンドで学習することも、事前学習済みモデルからファインチューニングすることもできる。提案手法をより一層検証するために、構造化された表現の同定に関する既存研究を拡張する、新しい同定可能性（identifiability）に関する結果を証明する。