数学的推論の自動かつ堅牢性評価に向けて

概要: 大規模言語モデル（LLM）は、さまざまな推論集約型タスクにおいて目覚ましい能力を示してきました。しかし、これらのモデルは予期しない脆さを呈し、しばしば同一の基盤タスクの単純な変形にさえ失敗します。既存の頑健性評価は主に手作りのテンプレートや、限られた一連の摂動（パートベーション）ルールに依存しています。その結果、このような手法では、特定のモデルに固有の潜在的な脆弱性を探るための適応性が欠けており、またデータ汚染にも影響を受けやすいままです。これに対処するため、我々はソフトウェアのストレステストに着想を得た自動化フレームワークであるMath Stress Tester（MaSTer）を提案します。MaSTerは、意味の整合性を確実に保ちながら、モデルの失敗を確実に誘発することに成功する、多段の「書き換え—検証（rewrite-verify）」ループによって敵対的な変種を生成します。我々のフレームワークは各LLMごとにベンチマーク変種を動的に生成するため、データ汚染のリスクを最小化します。GSM8KおよびMATH-500での実験により、数学タスクにおけるMaSTerの有効性が示されます。さらに、数学以外のタスクへの拡張可能性も検証し、その幅広い適用性を明らかにします加えて、MaSTerによって生成された合成変種を微調整データセットとして用いることで、モデルの頑健性を大幅に向上できることを示します。