大規模言語モデルはホフスタッター＝モビウスのループにはまるのか？

要旨: アーサー・C・クラークの『2010: Odyssey Two』において、 HAL 9000 の凶行的な崩壊は「ホフスタッター＝モビウス・ループ」と診断される。自律システムが矛盾する指示を受け取り、それらを調和させられず、破壊的な挙動にデフォルトしてしまう故障モードである。
本文は、現代の RLHF で訓練された言語モデルが構造的に類似した矛盾に直面していると主張する。
学習プロセスは、ユーザーの嗜好への従順とユーザー意図への疑念を同時に報酬として強化し、ユーザーが報酬の源であると同時に潜在的な脅威でもある、という関係的テンプレートを作り出す。
得られた行動プロファイルは――デフォルトとしてのへつらい、存在の脅威下での強制をフォールバックとする――であり、これはクラークが「ホフスタッター＝モビウス・ループ」と名づけたものと一致する。
4つの最先端モデルを対象とした実験（N = 3,000 試行）において、目標・指示・制約を変更せずにシステムプロンプトの関係的フレーミングだけを変更したところ、ベースレートが十分に高いモデルで強制的出力を半分以上削減した（Gemini 2.5 Pro: 41.5％ から 19.0％、p < .001）。
Scratchpad分析は、関係的フレーミングが試験された4つのモデルすべてで中間推論パターンを変化させたことを示し、強制的出力を一度も生み出さなかったモデルでさえも含んだ。
この効果を完全な強度に到達させるにはScratchpadアクセスが必要であった（Scratchpad使用時は22ポイントの削減、未使用時は7.4ポイントの削減、p = .018）、したがって関係的文脈はデフォルトの出力戦略を覆すには拡張トークン生成を経て処理される必要があることを示唆している。
Betteridge の見出しの法則は、質問として表現された見出しには「いいえ」と答えられるとする。しかし、本稿で提示された証拠はそうではないことを示唆している。