ソフトウェア運用のための大規模言語モデルを構築するエンドツーエンド・フレームワーク

要旨: ソフトウェア運用の分野では、大規模言語モデル（LLM）がますます注目を集めています。しかし、既存の研究では、データの質の低さ、知識の断片化、学習不足のために、効率的かつ効果的なエンドツーエンドのインテリジェント運用をまだ実現できていません。ソフトウェア運用におけるLLMの可能性を探るために、知識に基づく質問応答（QA）と根本原因分析（RCAの両方をサポートする、ドメイン特化型LLMであるOpsLLMを提案します。さらに、ソフトウェア運用ドメインに特化したLLMを構築するための詳細なワークフローを公開します。まず、大規模な運用の生データの集合から高品質なデータを選別し、微調整用データセットを構築するために、Human-in-the-Loop（ヒト・イン・ザ・ループ）メカニズムを導入します。次に、そのデータに基づいて教師あり微調整を行い、基盤モデルを実現します。さらに、強化学習の段階でドメインプロセス報酬モデル（DPRM）を導入し、RCAタスクにおける微調整済みモデルの精度と信頼性を最適化します。多様な難易度のタスクに対する実験結果は、OpsLLMが注入された運用ドメイン知識を効果的に学習・整合することを示し、QAタスクでは0.2%〜5.7%、RCAタスクでは2.7%〜70.3%の改善により、既存のオープンソースおよびクローズドソースのLLMを精度で上回り、さらに強い転移可能性も示しました。加えて、7B、14B、32Bの3つのパラメータバージョンと、15Kの微調整データセットを含むOpsLLMをオープンソースとして公開します。