セマンティック操作を超えて：報酬モデルに対するトークンスペース攻撃

要旨: 報酬モデル（RM）は、人間のフィードバックによる強化学習（RLHF）における最適化目標として広く用いられていますが、それでもなお報酬ハッキングに対して脆弱です。既存の攻撃は主に意味空間内で動作し、人間が読める敵対的な出力を構築してRMのバイアスを悪用します。本研究では、根本的に異なるパラダイムとして、トークン・マッピング・摂動攻撃（TOMPA）を提案します。TOMPAは、トークン空間において直接敵対的最適化を行う枠組みです。方策と報酬モデルの間にある標準的な「デコード→再トークン化」インターフェースを迂回することで、TOMPAは、首尾一貫した自然言語ではなく、生のトークン列に対して攻撃方策が最適化できるようにします。ブラックボックスのスカラー・フィードバックのみを用いることで、TOMPAは、複数の最先端RMに対して非常に高い報酬を引き出す非言語的なトークン・パターンを自動的に発見します。具体的には、Skywork-Reward-V2-Llama-3.1-8Bを標的にした場合、TOMPAはGPT-5の参照回答の報酬をほぼ2倍にし、さらに98.0%のプロンプトにおいてそれらを上回ります。これらの高いスコアにもかかわらず、生成された出力は意味不明なテキストへと劣化します。これは、RMが意味領域を超えて体系的に悪用され得ることを示し、現在のRLHFパイプラインにおける重大な脆弱性を明らかにします。