Bian Que：オンラインシステム運用のための柔軟なスキル配置を備えたエージェント型フレームワーク

Abstract

大規模なオンラインエンジンシステム（検索、レコメンデーション、広告）の運用・保守（O&M）には、リリース監視、アラート応答、根本原因分析のために多大な人的労力が必要である。LLMベースのエージェントはこれらの作業に自然に適しているが、導入のボトルネックは推論能力ではなくオーケストレーションにある。すなわち、各運用イベントごとに、関連するデータ（メトリクス、ログ、変更イベント）と適用可能な運用知識（ハンドブックのルールおよび実務者の経験）を選択する必要がある。すべてのシグナルを無差別に投入すると希釈と幻覚が起こり、さらに、日々のリリースが数十回に及ぶ状況では、イベントから（データ、知識）への対応関係を手動でキュレーションすることは困難である。我々は、3つの貢献を持つエージェント型フレームワークであるBian Queを提示する。（i）日々のO&Mを3つの標準的パターン、すなわちリリースの遮断、事前検査、アラートの根本原因分析に抽象化する a\emph{統一的な運用パラダイム};（ii） \emph{Flexible Skill Arrangement}。ここでは、各スキルが特定のビジネスモジュール文脈に対して、どのデータおよび知識を取得すべきかを指定し、LLMによって自動生成・更新できるほか、当直エンジニアからの自然言語指示によって反復的に洗練することも可能である；（iii） \emph{統一された自己進化メカニズム}。このメカニズムでは、1つの修正シグナルが2つの並列経路、すなわちケース記憶から知識への蒸留と、対象を絞ったスキルの洗練を駆動する。中国の主要なショートビデオプラットフォームであるKuaiShouのECサイト向け検索エンジンに導入したところ、Bian Queはアラート量を75%削減し、根本原因分析の精度80%を達成し、平均復旧時間を50%以上短縮した。我々のフレームワークはオフライン評価で99.0%のパス率を達成する。コードは https://github.com/benchen4395/BianQue_Assistant で公開している。