BitFlipScope：LLMにおけるビットフリップ破損に対するスケーラブルな障害局在化と回復

要旨: 実運用や安全性が厳しく求められる環境に投入された大規模言語モデル（LLM）は、ハードウェアの劣化、宇宙線、あるいはRowhammerのような意図的なフォールト注入攻撃によって引き起こされるビット反転（bit-flip）故障に、ますます影響を受けやすくなっています。これらの故障は内部パラメータを静かに破壊し、予測不能または危険なモデル挙動につながり得ます。これらの破壊箇所を特定することが不可欠です。影響を受けた領域を特定できなければ、劣化の原因を診断すること、対象を絞った是正措置を適用すること、あるいは高コストなファインチューニングや全面的な再学習に頼らずにモデル機能を復元することが不可能になります。本研究では、トランスフォーマー・アーキテクチャ内の、2つのデプロイメント・シナリオ下での故障影響領域を特定するための、スケーラブルなソフトウェアベースの枠組みであるBitFlipScopeを提案します。クリーンな参照モデルが利用可能な場合、BitFlipScopeは出力、隠れ状態、内部活性の差分解析を実行し、破壊を示唆する異常挙動を検出することで、故障を特定または局所化します。参照モデルが存在しない場合は、残差経路の摂動と損失感度プロファイリングを用いて、破壊されたモデルから故障の影響を受けた領域を直接推定します。いずれの設定においても、本枠組みは効果的な故障診断を可能にするだけでなく、ファインチューニングなしで軽量な性能回復も支援し、破壊されたモデルを復元するための実用的な道筋を提供します。これらの機能を合わせることで、BitFlipScopeは、ハードウェアに起因する故障が起こりやすい環境や敵対的な環境における、信頼性の高いフォールト耐性LLMデプロイメントに向けた重要な一歩となります。