エージェント型コンパイル：最小推論コストのWeb自動化のためのLLM「再実行危機」緩和

Abstract

連続推論ループを通じて動作するLLM駆動のWebエージェント――すなわち、ブラウザの状態を評価するためにモデルへ繰り返し問い合わせ、行動を選択する――は、反復タスクに対して基本的なスケーラビリティの制約を示します。これを「Rerun Crisis（再実行の危機）」として特徴づけます。すなわち、実行頻度に対してトークン消費とAPIレイテンシが線形に増大することです。500回の反復にわたる5ステップのワークフローでは、連続エージェントは推論コストとしておよそ150.00 USDを要します。積極的なキャッシュを用いても、これは15.00 USD近辺にとどまります。私たちは、LLMによる推論とブラウザ実行を分離する「Compile-and-Execute（コンパイル＆実行）」アーキテクチャを提案します。これにより、ワークフローごとの推論コストを0.10 USD未満まで削減します。ワンショットのLLM呼び出しが、DOM Sanitization Module（DSM）からトークン効率の高いセマンティック表現を処理し、決定論的なJSONのワークフローブループリントを出力します。その後、軽量なランタイムがモデルへの追加問い合わせなしにブラウザを駆動します。私たちは、このコスト削減をO(M x N)から、ならされる（amortized）O(1)の推論スケーリングへと形式化します。ここでMは再実行回数、Nは逐次アクションの数です。データ抽出、フォーム入力、フィンガープリンティングの各タスクに対する実証評価では、ゼロショットのコンパイル成功率が80-94%であることが示されます。重要なのは、中間表現としてのJSONのモジュール性により、Human-in-the-Loop（HITL）による最小限のパッチ適用で、実行信頼性をほぼ100%へ引き上げられる点です。5つのフロンティアモデルにおいて、1回のコンパイルあたりのコストが0.002 USDから0.092 USDの範囲にあることを踏まえると、これらの結果は、決定論的コンパイルが、連続アーキテクチャではこれまで不可能だった規模で、経済的に実行可能なオートメーションを可能にするパラダイムであることを示しています。