LLMベースのバイナリ分析における暗黙のパターン

要約: バイナリの脆弱性分析は、LLMベースのエージェントによって反復的でマルチパスな方法でますます行われており、モデルが中核的な意思決定者となっています。しかし、そのようなシステムが数百の推論ステップにわたる探索をどのように組織するかは、限られた文脈ウィンドウと暗黙のトークンレベルの挙動のため、十分に理解されていません。私たちは、マルチパスLLM推論が構造化されたトークンレベルの暗黙的パターンを生み出すことを示す、初の大規模かつトレースレベルの研究を提示します。推論ステップ数99,563、521個のバイナリを分析すると、4つの支配的なパターンを特定しました：初期の剪定、経路依存のロックイン、ターゲットを絞ったバックトラッキング、推論トレースから暗黙のうちに生じる知識主導の優先順位付け。これらのトークンレベルの暗黙パターンは、LLM推論の抽象化として機能します。明示的な制御フローや事前定義されたヒューリスティクスの代わりに、探索は経路選択、コミットメント、修正を規制する暗黙の意思決定によって組織されます。私たちの分析は、これらのパターンが独自の時間的役割と測定可能な特徴を持つ、安定した構造的システムを形成することを示しています。私たちの結果は、LLM駆動のバイナリ分析の最初の体系的な特性評価と、より信頼性の高い分析システムの基盤を提供します。