表データにおける演算スケッチと自己教師あり学習による数値推論の汎化

Abstract

専門領域の表に対する数値推論は、多くの場合、同一領域での精度は高い一方で、領域の変化（domain shift）に対する頑健性が限定的であることが多い。特定のデータセットで教師あり微調整（SFT）により学習したモデルは、構造に基づく推論よりも、ヘッダーに関する操作の近道（ショートカット）に依存する傾向がある。私たちは、3つの要素から成る継続的事前学習フレームワーク TaNOS を提案する: （i）語彙の記憶（lexical memorization）を抑えるためのヘッダーの匿名化、（ii）最小限の構造的手掛かりを与える操作スケッチ、（iii）与えられた表からプログラムを最初に考える方針（program-first manner）で、正しさが保証されたプログラム—質問ペアを構築する自己教師あり事前学習。ドメインの意味論と数値演算の構造を切り離すことで、TaNOS は数値推論の転移可能性を高める。8Bの命令チューニング済みモデルに適用したところ、TaNOS は学習データを10%しか使わないにもかかわらず、FinQA で実行精度 80.13% を達成し、フルの学習データを用いる SFT ベースライン（73.97%）および GPT-5、Gemini-2.5-Pro といった独自モデルを上回った。さらに、ドメイン変化の実験では、標準的な SFT が 10pp 超のギャップを示すのに対し、TaNOS はクロスドメイン・ギャップがほぼ無視できる程度（<2pp）にとどまる。これらの結果は、操作スケッチによる構造的ガイダンス、ヘッダーに依存しない表現、そして正しさが保証された自己教師あり学習が、多様な専門領域テーブルにまたがる数値推論の頑健性を改善し得ることを示唆している。