LLMエンドポイントの安定性と識別性のための行動指紋

要旨: AIネイティブアプリケーションの一貫性は、それらを支えるモデルエンドポイントの挙動的一貫性に依存します。稼働時間、待機遅延、スループットといった従来の信頼性指標は挙動の変化を捉えません。ウェイト、トークナイザー、量子化、推論エンジン、カーネル、キャッシュ、ルーティング、あるいはハードウェアの更新によって、エンドポイントは「健康な状態」に見えるままでも、実際のモデルアイデンティティが変化することがあります。私たちはブラックボックスの安定性モニタリングシステム、Stability Monitor を紹介します。固定されたプロンプト集合から出力をサンプリングしてエンドポイントを定期的に指紋付け、時間の経過に伴う出力分布を比較します。指紋は、プロンプト全体にわたるエネルギー距離の和に基づく統計量を用いて比較され、置換検定のp値を分布のシフトの証拠として用い、順次集約して変化イベントを検出し、安定期間を定義します。厳密な検証では、Stability Monitor はモデルファミリ、バージョン、推論スタック、量子化、挙動パラメータの変更を検出します。複数の提供者がホストする同じモデルを実世界でモニタリングした場合、提供者間および提供者内で著しい安定性の差異を観測します。