ブラックボックス型オンラインチューニングによるLLM性能向上: Trusted AIのためのFactsheetsへのシステムスペック追加のケース

要旨: 本論文では、内部計測を伴わず、短い区間におけるエンドツーエンド測定のみを用い、ヒルクライミングを用いてサービスレベル目標を満たすリクエストのスループットを最大化する新しいブラックボックス型オンラインコントローラを提案します。この設計が妥当であることを示す実証的証拠を提供します。LLMサービスにおけるこの進歩を具体的な例として用い、AIシステムを採用する組織のために、Factsheetsへシステム性能と持続可能性の指標を統合することの重要性について論じます。