LLMがEOL（サポート終了）を迎えたとき：本番システムにおける確実なモデル移行のためのフレームワーク

Abstract

本稿では、基盤となるモデルがエンド・オブ・ライフに到達した場合、または置き換えが必要になった場合に、プロダクションの大規模言語モデル（LLM）ベースのシステムを移行するためのフレームワークを提案します。主要な貢献は、ベイズ統計的アプローチにより、自動評価指標を人間の判断に対して較正し、限られた手動評価データしかない状況でも自信をもってモデルを比較できるようにする点です。このフレームワークを、6つのグローバル地域で月間530万回の対話を提供する商用の質問応答システムに適用し、正しさ、拒否行動、スタイルの遵守を評価することで、適切な置き換えモデルを特定することに成功しました。本フレームワークは、LLMベースの製品を導入するあらゆる企業に幅広く適用可能であり、品質保証と評価効率のバランスを取りながら、モデル移行のための原則に基づく再現可能な手法を提供します。これは、LLMエコシステムが急速に進化し続ける中で、組織が複数のモデル、地域、ユースケースにまたがるAI活用サービスのポートフォリオを管理するようになっていくにつれて、ますます不可欠になっている能力です。