LLM-as-a-Judgeにおける温度設定の必要性

Abstract

LLM-as-a-Judge（LLMを審査員として用いること）は、テキストの品質および事実の正確さを評価するための効果的で低コストなパラダイムとして登場している。先行研究では、LLMの審査員と人間の専門家の間で大きな一致が見られることが示されてきた。自動的に評価するのが難しい課題であっても同様である。実務において研究者は、評価プロセス中に固定した温度設定を用いることが一般的であり、0.1および1.0が最も多い選択肢である。この慣習は、原理に基づくというよりは、主として経験的なものになっている。ところが近年の研究では、LLMの性能が温度設定に対して無視できない感度を示すこと、低い温度が常に最適な結果をもたらすわけではないこと、そしてこうした効果が非常に課題依存的であることが示唆されている。これにより、重要な研究課題が浮上する。すなわち、温度はLLM中心の評価における審査員の性能に影響を与えるのだろうか。本研究では、この問いに答えるために、制御された一連の実験を通じて温度と審査員の性能の関係を体系的に調査する。さらに、経験的な統計分析の中で因果推論の枠組みを採用し、温度が審査員の挙動に与える直接的な因果効果を厳密に検討する。その結果、LLM中心の評価パイプラインの設計に役立つ実行可能なエンジニアリング上の知見を提供する。