ゴミから金へ：予測頑健性のデータ・アーキテクチャ理論

概要: 表形式の機械学習には逆説がある。現代のモデルは高次元（high-D）、共線性を伴い、誤りが生じやすいデータを用いて、「Garbage In, Garbage Out」という格言を覆して最先端の性能を達成する。これを解決するために、情報理論、潜在因子モデル、心理測定学の原理を統合し、予測の頑健性はデータの清浄さだけでなく、データ構造とモデル容量の相乗効果によって生じる、という点を明らかにします。予測子空間の「ノイズ」を「予測子エラー」と「構造的不確実性」（確率的生成写像から生じる情報的欠損）に分割し、高-D のエラーを含む予測子の集合を活用することが、漸近的に両方のノイズのタイプを克服することを証明します。一方、低-D の集合をクリーンにすることは、構造的不確実性によって根本的に制約されます。我々は、情報性のある共線性（共有潜在原因から生じる依存関係）が信頼性と収束効率を高める理由を示し、次元の増加が潜在推論の負担を軽減し、有限のサンプルでの実現可能性を高める理由を説明します。実務上の制約に対処するため、頑健性を効率的に実現する予測子を特定する「積極的データ中心AI」（Proactive Data-Centric AI）を提案します。系統的エラー領域の境界を導出し、異常な依存性を取り込むモデルが仮定違反を緩和できる理由を示します。潜在アーキテクチャを良性過剰適合（Benign Overfitting）と結びつけ、アウトカム誤差と予測子空間ノイズへの頑健性を統一的に捉える第一歩を提供するとともに、従来のデータ中心AI（DCAI）がラベルのクリーン化に焦点を当てる局面がなお強力であることを明確にします。データ品質をアイテムレベルの完璧さからポートフォリオレベルのアーキテクチャへ再定義することにより、実運用のライブで未選定の企業データ沼から学ぶという発想である「ローカルファクトリー」の理論的根拠を提供し、静的な一般化の制約を克服するための「モデル転送」から「方法論転送」へのデプロイメントパラダイムシフトを支持します。