コード評価における開発者とLLMのバイアスの比較

要旨: LLMがコードアプリケーションにおけるジャッジとしてますます利用されるようになってきたため、部分的な文脈や曖昧な意図を捉えた現実的なインタラクティブ環境で評価されるべきです。本稿では、TRACE（コード評価におけるルーブリック分析のためのツール）という枠組みを提示します。これは、LLMジャッジが人間の嗜好を予測する能力を評価し、さらに各項目の重み付けにおける人間とモデルの体系的なバイアスを明らかにするために、ルーブリック項目を自動抽出します。3つのモダリティ――チャットベースのプログラミング、IDEのオートコンプリート、指示に基づくコード編集――において、TRACEを用いてLLMジャッジが開発者の嗜好とどれほど一致しているかを測定します。13種類の異なるモデルのうち、最良のジャッジは人間のアノテータに対して12-23%低い性能です。TRACEは、インタラクションのモダリティをまたいで、人間とジャッジの不一致の重要な要因を35の源泉として特定します。その大半は、既存のソフトウェアエンジニアリングにおけるコード品質基準に対応しています。例えば、チャットベースのコーディングでは、ジャッジはより長いコードの説明に偏る一方で、人間はより短い説明を好みます。既存のコード品質のほとんどの次元において有意な不一致が見られ、現実的なコーディングアプリケーションにおけるLLMジャッジと人間の嗜好の間に整合ギャップが存在することが示されます。