対数尤度ベクトルを用いたプロンプト-レスポンス分布の言語モデルマップ

概要：私たちは、プロンプトとレスポンスのペアに対する対数尤度ベクトルによって言語モデルを表現し、それらの条件付き分布を比較するためのモデルマップを構築する方法を提案します。この空間において、モデル間の距離は対応する条件付き分布間のKL発散を近似します。公開されている大規模な言語モデルのコレクションを対象とした実験は、マップがモデル属性やタスク性能との関係を含む意味のあるグローバルな構造を捉えることを示しています。この手法は、プロンプトの変更によって生じる体系的なシフトと、それらの近似的な加法的組成性を捉えることも示唆しており、複合プロンプト操作の効果を分析・予測する方法を示唆します。また、非条件付き分布の影響を減らすために点ごとの相互情報量（PMI）ベクトルを導入します。場合によっては、PMIベースのモデルマップが訓練データに関連する差をよりよく反映します。全体として、このフレームワークは入力に依存するモデル挙動の分析を支援します。