堅牢なLLMポストトレーニングに向けて：強化学習による微調整の自動障害マネジメント

Abstract

強化学習による微調整（Reinforcement Fine-Tuning: RFT）は、学習後（post-training）の大規模言語モデルにとって中核となるパラダイムになってきましたが、その学習プロセスは依然として非常に脆いままです。既存の取り組みは主に、システムレベルでの信頼性の向上に取り組むか、あるいはRFTアルゴリズムを変更して個々の下位課題における特定の問題に対処することで有効性を高めています。これらは効果的である一方、訓練プロセスのレベルにおける「失敗管理（failure management）」という問題を大きく見落としています。学習がうまくいかないとき、実務者は依然として専門家主導の手動による検査と修正に大きく依存しており、RFTのための自動的な失敗管理はほとんど未開拓です。本論文では、強化学習による微調整に対する体系的な失敗管理に向けた第一歩を示します。RFT失敗の経験的な構造を理解するために、まず、強化学習による微調整におけるきめ細かな失敗のための初めてのベンチマークであるRFT-FaultBenchを構築します。これは5つの故障ファミリー、16の故障タイプ、779の学習実行、22,549の学習ステップ記録、1,457,288の軌跡（trajectory）レベルの記録を含みます。このベンチマークに基づき、包括的な経験的研究を行い、RFTの失敗が学習ダイナミクスから観測可能であり、かつ経験的な故障フィンガープリントによって区別できることを示します。これらの知見を踏まえ、閉ループ内で異常検知、失敗診断、自己修復（auto remediation）を統合する、強化学習による微調整のための自動失敗管理フレームワークRFT-FMを提案します。実験結果は、RFT-FaultBenchが自明でも飽和（saturated）でもないことを示しています。すなわち、明確な異常構造が現れる一方で、特に微妙な故障設定ではなお大きな課題を提示します。さらに、RFT-FMは、RFTの失敗を検出・診断・緩和するうえで強い能力を示します。