RouteProfile：LLMルーティングのための「LLMプロファイル」設計空間の解明

Abstract

大規模言語モデル（LLM）エコシステムが拡大するにつれて、個々のモデルはクエリ、ベンチマーク、ドメインにわたって異なる能力を示し、LLMルーティングの開発が動機づけられている。従来の研究では主にルータ機構の設計に焦点が当てられてきた一方で、モデルの能力を捉えるLLMプロファイルは、十分に調査されていない。本研究では次の問いを扱う：LLMプロファイルの設計は、異なるルータ間でのルーティング性能にどのように影響するのか。この問いに答えることは、ルーティングにおけるプロファイルの役割を明確にし、プロファイル設計とルータ設計を切り分け、ルーティングシステムのより公平な比較と、より原理的な開発を可能にする。そこで本研究では、LLMプロファイリングを、異種の相互作用履歴に対する構造化された情報統合問題として捉える。組織形態、表現形式、集約の深さ、学習設定という4つの主要な次元に基づき、RouteProfileと名付けたLLMプロファイルの一般的な設計空間を開発する。標準設定と新しいLLMへの一般化設定の両方のもとで、3つの代表的なルータに対して体系的に評価することで、次を示す：（1）構造化プロファイルは常にフラットなものを上回る；（2）クエリレベルの信号は、粗いドメインレベルの信号よりも信頼性が高い；（3）新たに導入されたモデルへの一般化は、学習可能な設定のもとで構造化プロファイルから最も恩恵を受ける。全体として、本研究は、将来のルーティング研究においてLLMプロファイル設計が重要な方向性であることを強調する。