インコンテキスト表形式学習におけるノイズ耐性：TabPFNの注意機構の経験的ロバスト性分析

概要: TabPFN（Tabular Prior-Data Fitted Network）のようなタブラー基盤モデル（TFM）は、文脈内学習（ICL）によって異種のタブラー・データセット全体にわたって一般化するよう設計されています。これらは、データセット固有のパラメータ更新を行わず、ラベル付きの例に条件付けて単一のフォワードパスで予測を行います。このパラダイムは、タブラー予測が広く行われている産業分野（例：金融やヘルスケア）において特に魅力的です。新しい各テーブルごとに専用モデルを再学習することは、これらの領域ではコストが高かったり不可能だったりします。一方で、無関係な予測因子、相関のある特徴グループ、ラベルノイズといったデータ品質の問題は一般的です。本論文では、TabPFNがこれらの最適でない条件下で非常に高い頑健性を示すことを、強力な実証的証拠によって示します。本研究では、制御された合成擾乱を用いて、二値分類問題におけるTabPFNとその注意機構を調べます。擾乱は次を変えることで行います： (i) ランダムな非相関特徴を注入し、また非線形に相関する特徴を導入することによってデータセットの幅を変更する、 (ii) 学習用の行数を増やすことでデータセットサイズを変更する、 (iii) 誤ってラベル付けされたターゲットの割合を増やすことでラベル品質を変更する。予測性能に加えて、注意の集中度や注意に基づく特徴量ランキングの指標など、内部信号を分析します。これらのパラメトリックな試験全体を通じて、TabPFNは驚くほど頑健です。ROC-AUCは高いままで、注意は構造化され鋭く保たれ、情報を含む特徴は注意ベースの指標によって高くランク付けされます。注意ヒートマップ、特徴トークン埋め込み、SHAPプロットによる定性的な可視化は、層をまたいで一貫したパターンをさらに裏付けています。すなわちTabPFNは、有用な特徴へ次第に集中し、それらの信号をノイズから切り分けるようになります。これらの知見は、TabPFNが、データの不完全さがさまざまな状況においても、予測性能と首尾一貫した内部挙動の両方を維持できる頑健なTFMであることを示唆しています。