トランスフォーマーは見たことのない規則を学べる――補間を超えた計算の証明

要旨: LLM（大規模言語モデル）論争における中心的な問題は、トランスフォーマーが訓練から欠如した規칙を推論できるか、それとも見られた例の上での類似性ベースの補間に見える一般化へ還元されるのか、という点である。われわれは、二つの厳密に統制された設定の中で強力な補間のみ仮説を検証する。ひとつは補間を構築と証明によって排除する設定、もうひとつは成功が最終的な答えだけでなく中間の記号的導出を出力することを要求する設定である。実験1では、純粋なXOR遷移規則を用いたセルオートマトンを用い、訓練データから特定の局所入力パターンを除外する。XORは線形に分離不能であるため、保持アウトされた各パターンの最近傍は反対ラベルを持ち、類似性ベースの予測子は保持領域で失敗する。とはいえ、二層のトランスフォーマーは規則を回復し（最高100％；47/60の収束実行）、回路抽出はXOR計算を同定する。多段階の制約伝搬に依存するパフォーマンス: 展開を行わない場合、精度は出力バイアス（63.1％）に匹敵し、ソフト展開では96.7％に達する。実験2では、整数上の記号的演算子連鎖を1組の演算子ペアを除外した状態で研究する。モデルは中間手順と最終答えを証明のような形式で出力しなければならない。全49組の保持アウトペアを対象に、トランスフォーマーはすべての補間ベースラインを上回る（平均41.8％、最大78.6％；平均KRR 4.3％；KNNとMLPはすべてのペアで0％）、一方で中間手順の監督を除くと性能が低下する。標準的なトランスフォーマーブロックが正確な局所ブール規則を実装できる構成と併せて、これらの結果は、訓練で直接観察されていない規則構造をトランスフォーマーが学習し、それを明示的に表現できるという存在証明を提供する。補間のみのアカウントの最も強力なアーキテクチャ形態、すなわちトランスフォーマーが本質的に未見の規則を発見し伝達することができない、という主張を排除しつつ、そのような挙動が大規模言語訓練で現れる時期を未定にしている。