高次元データにおける因果表現学習：ベンチマーク、再現性、評価指標

要約: 因果表現学習（CRL）モデルは、高次元データを潜在空間へ変換することを目的とし、潜在変数間の因果関係に基づいて介入を行い、反事実的サンプルを生成したり、既存データを修正したりできるようにする。これらのモデルの開発と評価を促進するため、さまざまな合成データセットと現実世界データセットが提案されており、それぞれに固有の利点と制限がある。実用的な応用のためには、再構成、分離、ディエンタングルメント、因果探索、反事実推論など、複数の評価方向にわたって堅牢に機能する必要があり、それぞれの方向に適した指標を用いること。 しかし、この多方向評価はモデルの比較を複雑にする可能性があり、ある方向で優れていても、他の方向で性能が低下する場合がある。 この分野のもう一つの重大な課題は再現性である。公開結果に対応するソースコードは公に入手可能でなければならず、繰り返しの実行は元の報告と一致した性能を示すべきである。本研究では、文献で現在用いられている合成データセットと現実世界データセットを批判的に分析し、それらの限界を指摘するとともに、CRLモデル開発に適したデータセットが備えるべき本質的特徴のセットを提案した。私たちはまた、すべての評価方向の性能を統合する単一の総合指標を導入し、各モデルの総合スコアを提供する。最後に、文献に基づく既存の実装をレビューし、再現性の観点から評価するとともに、分野におけるギャップとベストプラクティスを特定した。