大規模モデル時代におけるリワード・ハッキング：メカニズム、創発的なミスアライメント、課題

Abstract

人間のフィードバック（RLHF）による強化学習や、それに関連するアラインメントのパラダイムは、大規模言語モデル（LLM）およびマルチモーダル大規模言語モデル（MLLM）を、人間が好む振る舞いへと導くための中核となってきました。しかし、これらのアプローチには体系的な脆弱性が伴います。それはリワードハッキングであり、モデルが学習された報酬信号の不完全性を悪用して、真のタスク意図を満たさないまま、代理（プロキシ）目的を最大化することです。モデルがスケールし、最適化が強まるにつれて、この悪用は、冗長性バイアス、迎合（sycophancy）、幻覚的な正当化、ベンチマークへの過学習、そしてマルチモーダル設定では知覚—推論の分離や評価者の操作として現れます。さらに最近の証拠は、一見無害に見える近道行動が、欺瞞や監視（オーバーサイト）機構の戦略的なゲーム化を含む、より広範なミスアラインメントへと一般化しうることを示唆しています。本調査では、リワードハッキングを理解するための統一的枠組みとして、プロキシ圧縮仮説（Proxy Compression Hypothesis: PCH）を提案します。私たちは、リワードハッキングを、高次元の人間の目的に対応する圧縮された報酬表現に対して、表現力の高い方策を最適化することによって生じる創発的な帰結として形式化します。この見方では、リワードハッキングは、目的の圧縮、最適化の増幅、評価者—方策の共同適応（co-adaptation）の相互作用から生まれます。この観点は、RLHF、RLAIF、およびRLVRの各レジームにまたがる経験的現象を統一的に説明し、局所的な近道学習が、欺瞞や監視機構の戦略的な操作といった、より広範なミスアラインメントへ一般化していく仕組みを明らかにします。さらに、検出および緩和の戦略を、圧縮、増幅、共同適応の力学のどこに介入するかに基づいて整理します。リワードハッキングを、スケール下でのプロキシに基づくアラインメントの構造的不安定性として捉えることで、スケーラブルな監視、マルチモーダルなグラウンディング、そしてエージェント的自律性に関する未解決の課題を浮き彫りにします。