記憶としてのエンタングルメント：量子言語モデルのメカニスティック解釈可能性

Abstract

量子言語モデルは連続的タスクにおいて競争力のある性能を示しているが、学習された量子回路が本当に量子的資源を活用しているのか、それとも量子ハードウェアに古典計算を単に埋め込んでいるだけなのかは、未だ不明である。先行研究では、これらのモデルをエンドポイント指標のみで評価しており、モデルが内部で実際に学習するメモリ戦略を調べていなかった。ここでは、制御された長距離依存タスクにおいて、因果ゲートのアブレーション、エンタングルメントの追跡、密度行列の介入（interchange）を組み合わせた、量子言語モデルに関する最初のメカニスティック解釈可能性（mechanistic interpretability）研究を提案する。単一量子ビットモデルは厳密に古典的にシミュレート可能であり、整合した古典ベースラインと同一の幾何学的戦略へ収束することが分かる。一方、エンタングリングゲートを備えた2量子ビットモデルは、量子ビット間のエンタングルメントにより文脈を符号化する表現として異なる戦略を学習する。これは、3つの独立した因果テストにより確認される（p < 0.0001, d = 0.89）。実際の量子ハードウェア上では、古典的な幾何学的戦略のみがデバイスノイズによって生き残り、エンタングルメント戦略は偶然と同等のレベルまで劣化する。これらの知見は、量子言語モデルの科学における手段としてのメカニスティック解釈可能性を切り開き、デプロイ時にどの学習済み戦略が生き残るかを支配するノイズ—表現力（noise-expressivity）のトレードオフを明らかにする。