反復的グループ・アラインメントによる自己改善型タブラー言語モデル

要旨: 言語モデルは表形式データの生成に適応されてきましたが、2つの根本的な制約がなお残っています: (1) 静的な微調整では、自身が生成したサンプルから学習して自己修正に適応できないモデルが生まれること、そして (2) 自己回帰的目的関数は局所的なトークンの整合性は保持する一方で、グローバルな統計的性質を軽視するため、表の品質が劣化することです。強化学習は潜在的な解決策を提供しますが、競合する目的のバランスを取る報酬関数の設計が必要であり、表データでは実用的ではありません。そこでギャップを埋めるために、TabGRAA（Tabular Group-Relative Advantage Alignment）を提案します。これは、自動化されたフィードバックによる表形式データ生成のための初の自己改善フレームワークです。各反復において、TabGRAAは \\emph{自動化された品質シグナル}（例えば、2サンプル識別可能性分類器や距離ベースの報酬）を用いて、新たに生成されたサンプルを高品質群と低品質群に分割し、その後、現実的なパターンを強化しつつアーティファクトを罰する、群相対優位性目的を最適化します。この特定のシグナルは、フレームワークの固定された構成要素ではなくモジュールとして選択可能です。これにより、善循環的なフィードバックサイクルが確立されます。すなわち、各ラウンドでは品質シグナルを新たに \\emph{生成された合成}サンプルに対して再計算します。言語モデルは、これら自己生成したシグナルにのみ微調整されるため、アラインメント中に追加の実データ記録が公開されません。これは、最初の教師あり微調整を超えてデータ漏えいのリスクを軽減します。実験の結果、TabGRAAは忠実性、有用性、プライバシーの面で既存手法を上回り、拡散ベースのシンセサイザーと同等、あるいはそれ以上の性能を達成し、表形式合成を静的な統計複製から動的で自己改善する生成へと前進させます。