大規模言語モデルはどれほど独立なのか？行動的絡み合いの監査と検証器アンサンブルの再重み付けのための統計的枠組み

Abstract

大規模言語モデル（LLM）エコシステムの急速な成長は、重要な疑問を提起します。見かけ上は多様なモデルが、本当に互いに独立しているのでしょうか？共有された事前学習データ、蒸留、そしてアラインメントのパイプラインは、隠れた行動上の依存関係、すなわち潜在的な絡み合い（エンタングルメント）を引き起こし得ます。これは、LLM-as-a-judge パイプラインやアンサンブル検証のような複数モデルシステムを損ない、これらは暗黙に独立したシグナルを前提としています。実際には、相関した推論パターンや同期した失敗として現れます。見かけの一致は、独立した検証によるものというより、共有された誤りのモードを反映しているのです。この問題に対処するために、ブラックボックスのLLM間における行動的エンタングルメントを監査するための統計的枠組みを開発します。提案手法は、多解像度の階層構造を導入し、2つの情報理論的指標によって共同の失敗のマニフォールドを特徴づけます：（i）難易度加重行動エンタングルメント指数（Difficulty-Weighted Behavioral Entanglement Index）は、容易なタスクでの同期した失敗を増幅し、（ii）累積情報利得（Cumulative Information Gain; CIG）指標は、誤答における応答の方向性の一致を捉えます。6つのモデルファミリーに属する18のLLMを用いた大規模な実験により、広範な行動的エンタングルメントを特定し、それが LLM-as-a-judge 評価に与える影響を分析します。その結果、CIG は、判定者（judge）の精度低下と統計的に有意な関連を示すことが分かります。GPT-4o-mini では Spearman 係数 0.64（p < 0.001）、Llama3 ベースの判定者では 0.71（p < 0.01）であり、より強い依存は、過剰な裏付けバイアス（over-endorsement bias）の増加に対応することを示しています。最後に、エンタングルメントを実用的に扱うユースケースとして、脱絡み（de-entangled）された検証器アンサンブルの再重み付けを示します。推定された独立性に基づいてモデルの貢献度を調整することで、提案手法は相関したバイアスを緩和し、検証性能を改善します。多数決（majority voting）と比較して最大で 4.5% の精度向上を達成します。