学習データ分布の彼方へ：ニューラル・プログラム合成における汎化境界の地図化

概要: 大規模トランスフォーマーはプログラム合成ベンチマークで目覚ましい成果を達成していますが、その真の汎化能力は、データ汚染や不透明な学習コーパスによって見えにくいままです。モデルが本当に一般化しているのか、それとも記憶したテンプレートを単に呼び出しているだけなのかを厳密に評価するために、ドメイン固有の算術文法に基づく、厳密に制御されたプログラム合成環境を導入します。数百万もの固有のプログラムを体系的に列挙し評価することで、解釈可能な構文および意味の計量空間を構築します。これにより、データ分布を正確に対応付け、特定の分布シフトを隔離する学習・テスト分割（サンプルの分割）を精密に設計できるようになります。実験の結果、密度汎化を最適化する──すなわち意味空間と構文空間の両方にわたって多様なサンプリングを行う──ことで、頑健な分布外（out-of-distribution）汎化が生じることが示されました。対照的に、サポート汎化を評価すると、トランスフォーマーは外挿に対して著しく苦戦し、構文的に新規なプログラムを生成することを強制した場合、性能が30%以上低下します。計算資源を継続的にスケールアップすると汎化は改善しますが、その向上は厳密に対数線形の関係に従います。頑健な汎化には、複数の多様体（マニフォールド）にまたがって学習の多様性を最大化する必要があると結論します。さらに、本研究の結果は、現在の対数線形スケーリングのボトルネックを打ち破るためには、新規な探索（search）ベースのアプローチが必要であることを示唆しています。