アライメント税：アライメント済みLLMにおける応答の同質化と、不確実性推定への含意

要旨: RLHF整合（アラインメント）された言語モデルは、応答の同質化（response homogenization）を示します。TruthfulQA（n=790）では、10個のi.i.d.サンプルに対して、40〜79%の質問が単一の意味クラスターを生成します。影響を受けた質問において、サンプリングに基づく不確実性手法は識別能力を持ちません（AUROC=0.500）が、自由トークンエントロピーは信号を保持します（0.603）。この整合による「アラインメント税（alignment tax）」はタスク依存であり、GSM8K（n=500）ではトークンエントロピーが0.724（Cohenのd=0.81）に達します。
ベース対インストラクションのアブレーションは、整合の因果的役割を確認します。ベースモデルは単一クラスター率が1.0%であるのに対し、インストラクションモデルは28.5%です（p < 10^{-6}）。訓練段階のアブレーション（Base 0.0% -> SFT 1.5% -> DPO 4.0% SCR）により、その原因はSFTではなくDPOに局在します。4つのモデルファミリにまたがるクロスファミリ再現では、整合税の深刻さがファミリとスケールによって変化することが明らかになります。22の実験、5つのベンチマーク、4つのモデルファミリ、3つのモデル規模（3B-14B）にわたり、3つのDeBERTaスケールでJaccard、埋め込み、およびNLIベースのベースライン（いずれも約0.51 AUROC）を用いて検証します。2つの独立した埋め込みファミリによるクロスエンコーダ検証は、結合（カップリング）バイアスを排除します。WebQuestionsでのクロスデータセット検証（58.0% SCR）により、TruthfulQAを超えた一般化が確認されます。中心となる発見――応答の同質化――は、実装に依存せず、ラベルなしで成立します。この診断に動機づけられ、直交する不確実性シグナル上で最安値優先のカスケード（UCBD）を探究します。選択的予測により、GSM8Kの精度はカバレッジ50%で84.4%から93.2%へ引き上がります。境界が弱く依存している（|r| <= 0.12）ため、57%のコスト削減が可能です。