期待を超える Safe RLHF：ユニバーサルスペクトルリスク制御のための確率的支配

要旨: 人間のフィードバックからの安全な強化学習（RLHF）は通常、期待コスト制約を介して安全性を強制します。しかし、期待値はコスト分布の単一の統計量しか捉えず、裾の不確実性、特に裾が重い分布や稀な壊滅的イベントを考慮できません。この制限は、ロバスト性とリスク感度が重要となる状況で問題となります。確率的支配は、平均だけでなく分布全体を比較することにより原理的な代替手段を提供し、裾リスクや期待値ベースの制約が見逃す可能性のある分布外の失敗を直接制御できるようにします。本研究では、First-Order Stochastic Dominance（FSD）制約を用いた新しい整列フレームワーク「Risk-sensitive Alignment via Dominance（RAD）」を提案します。RADは、スカラーの期待コスト制約をFSD制約へ置換する新しい整列フレームワークです。OT（最適輸送）フレームワーク内でターゲットポリシーのコスト分布を参照ポリシーの分布と比較することでこの制約を実現し、エントロピー正則化と Sinkhorn イテレーションを用いて、微分可能で計算効率の高いエンドツーエンド最適化のための目的関数を得て安定したエンドツーエンド最適化を実現します。さらに、分位点重み付きの FSD 制約を導入し、加重 FSD が広範なスペクトルリスク測度（SRMs）を普遍的に制御することを示します。従って、加重支配の改善は対応するスペクトルリスクの改善を保証します。これにより、分位点重み付け関数を介してモデルのリスクプロファイルを調整する原理的機構が提供されます。実証結果は、RAD がベースラインより無害性を改善しつつ有用性でも競争力を維持し、分布外の無害性評価においてより高い頑健性を示すことを示しています。