ProbeLogits: AIネイティブOSのためのカーネルレベルLLM推論プリミティブ

要旨: 内部でLLM推論を実行するOSカーネルは、いかなるテキストが生成される前でも、ログit分布（logit distributions）を読み取ることができ――それを統治（governance）の基本原理（primitve）として機能させることができます。私は、学習されたパラメータをゼロにしたカーネルレベルの操作であるProbeLogitsを提示します。これは1回のフォワードパスを実行し、特定のトークンのlogitを読み取ることで、エージェントの行動を安全または危険として分類します。260プロンプトのOSアクションベンチマーク（敵対的攻撃を含む9カテゴリ）において、ProbeLogitsは、4-bit量子化した汎用の7Bモデルを用い、F1=0.980、Precision=1.000、Recall=0.960を達成します。ToxicChat（人手で注釈された実会話1,000件）では、デフォルトのキャリブレーション強度alpha=1.0でF1=0.790を達成し、alpha=0.5ではF1=0.837に改善します――学習パラメータゼロでLlama Guard 3のF1~0.939の89%に相当します。主要な設計上の貢献は、学習されたハイパーパラメータではなくデプロイ時のポリシーノブとして機能するキャリブレーション強度alphaです。alphaを調整することで、OSは特権操作に対して厳格なポリシーを強制できます（alpha geq 0.8、recallを最大化）し、会話エージェントに対しては緩和されたポリシーを適用できます（alpha=0.5、precisionを最大化）。コンテキストに基づくキャリブレーションにより、独自ベンチマークでの精度は64.8%から97.3%へと向上します。私は、80,400行のRustで書かれたベアメタルx86_64 OSであるAnima OS内にProbeLogitsを実装しました。エージェントの行動はカーネルを介したホスト関数を通過しなければならないため、ProbeLogitsの強制（enforcement）はWASMサンドボックス境界より下で動作し、アプリケーション層の分類器よりも回避が著しく難しくなります。各分類のコストは7Bで65msであり、行動ごとの統治に十分な速さです。また、KVキャッシュをプロセス状態として扱うことで、従来のプロセス管理に類似したチェックポイント、リストア、フォーク操作が可能になることも示します。私の知る限り、LLMのlogitベクトルをOSレベルの統治プリミティブとして公開する先行システムは存在しません。