CR-Bench: AIコードレビュエージェントの実世界での有用性を評価する

最近の最前線の大規模言語モデルの進歩は、オープンエンドで推論を要する設定で動作するコードレビュエージェントを可能にしました。しかし、標準化されたベンチマークと細粒度の評価プロトコルの欠如は、偽陽性がコストの高いタスクを含む、粗い成功指標を超えたコードレビュエージェントの挙動を評価することを難しくしています。このギャップを埋めるため、CR-BenchというベンチマークデータセットとCR-Evaluatorというコードレビュエージェントの細粒度評価パイプラインを導入します。これらのツールを用いて、2つのフロンティアモデルにまたがる単発エージェントとReflexionベースのエージェントの予備的な研究を行います。すべての隠れた問題を特定するよう設計されたコードレビュエージェントは、信号対ノイズ比が低くなる可能性があり、解決率のみで測定すると真の進捗と開発者の生産性を覆い隠すことになると結論づけました。我々の分析は、問題の解決と偽検出の間の隠れたトレードオフを特定し、効果的なエージェント設計を制約するフロンティアを明らかにします。CR-BenchとCR-Evaluatorは、LLMベースのシステムがベンチマークから実世界のソフトウェアエンジニアリングワークフローへと移行する際、コードレビュエージェントを研究・開発するための適時な基盤を提供します。