RPRA：効率的でありつつ高性能な推論のためのLLMジャッジ予測

要旨: 大規模言語モデル（LLM）は、計算効率（例：パラメータ数）と出力品質の間に、本質的なトレードオフを抱えている。特に、電話やラップトップのように計算資源が限られたデバイスに導入する場合、このトレードオフは顕著になる。この課題に対処する一つの方法は、人間のように、自分だけでは問題を解けないと考えたときにモデルに助けを求めさせることだ。より小さなモデルが良い応答を提供できると考える場合に問い合わせへ応答し、そう考えない場合にはより大きなモデルへ委ねることで、このトレードオフを克服できる。本論文では、この目的のために、モデルが応答する前に、その出力がLLMジャッジによってどの程度のスコアを得るかを予測する、Predict-Answer/Act（PA）およびReason-Predict-Reason-Answer/Act（RPRA）というパラダイムの実現可能性を検討する。評価するアプローチは3つである。ゼロショット予測、インコンテキストのレポートカードを用いた予測、教師ありの微調整である。その結果、より大きなモデル（特に推論モデル）は、汎用的なLLMジャッジのゼロショット評価を予測する際に良好に機能する一方で、より小さなモデルは、微調整後、またはインコンテキストのレポートカードが与えられた後には、そうしたジャッジを信頼性高く予測できることが分かった。全体として、これら2つのアプローチはいずれも、より小さなモデルの予測精度を大幅に向上させうる。レポートカードと微調整はいずれも、データセットを通じて平均で最大55%および52%の改善をもたらす。これらの知見は、モデルが自らの性能限界を予測することを学習できることを示しており、より効率的で自己認識的なAIシステムへの道を拓く。