DepthCharge：大規模言語モデルにおける深さ依存の知識を測定するための、領域非依存のフレームワーク

概要: 大規模言語モデルは一般的な質問への回答では有能に見える一方で、専門領域に踏み込んだ詳細を求められると失敗することがしばしばあります。既存の手法では、任意の領域にわたって、適応的な追質問のもとでLLMがどれほど深いところまで正確な応答を維持できるかを測定するための「そのまま使える」解決策は提供されていません。
私たちは DepthCharge を提案します。これは、知識の深さを3つの革新によって測定する、領域に依存しない枠組みです。すなわち、モデルが実際に言及した概念に基づいて追質問を生成する適応的なプロービング（探索質問）、権威ある情報源から要請に応じて事実確認を行う仕組み、そして深さの各レベルにおいてサンプルサイズを一定に保ったまま行うサバイバル統計です。この枠組みは、事前に構築されたテストセットや領域固有の専門知識を必要とせず、公的に検証可能な事実を含む任意の知識領域に対して展開できます。DepthCharge の結果は、回答確認に用いる評価モデルに対する相対値であり、枠組みは絶対的な正確性の認定ではなく、比較評価のためのツールになります。
5つのフロンティアモデルを用い、4つの多様な領域（医学、憲法学、古代ローマ、量子計算）にわたって実証的に検証したところ、DepthCharge は、標準ベンチマークでは隠れてしまう「深さに依存した性能のばらつき」を明らかにすることが示されました。期待妥当深さ（Expected Valid Depth, EVD）は、モデル・領域の組み合わせにより 3.45 から 7.55 の範囲に広がり、領域によってモデルのランキングは大きく変動し、すべての領域で単一のモデルが支配的になることはありません。さらに、コストと性能の分析から、高価なモデルが必ずしもより深い知識を獲得しているとは限らないことが分かりました。専門職向けのモデル選定においては、総合的なベンチマークよりも、領域固有の評価のほうが情報量が多いことを示唆しています。