リポジトリ単位のソフトウェアエンジニアリング評価のための時間的一貫性ベンチマーク

Abstract

リポジトリを意識したソフトウェア工学システムの評価は、しばしば合成的なタスク設計、プロンプト漏洩、そしてリポジトリ知識と将来のコード変更との間における時間的な汚染によって混乱させられます。本稿では、時系列の一貫性を保ったベンチマーク手法を提示します。すなわち、時刻T0においてリポジトリをスナップショットし、T0以前に利用可能だった成果物のみを用いてリポジトリ由来のコード知識を構築し、将来の間隔 (T0, T1] にマージされたプルリクエストから導出された工学タスクで評価します。各歴史的プルリクエストは、LLM支援によるプロンプト生成パイプラインを通じて自然言語のタスクへと変換され、ベンチマークは、同じソフトウェア工学エージェントを、リポジトリ由来のコード知識の有無で評価する対応付けられたA/B比較として形式化されます。その際、他のすべての変数は一定に保ちます。さらに、Claudeファミリーの3つのモデルと4つのプロンプト粒度を用いて、2つのオープンソースリポジトリ（DragonFlyとReact）に対するベースラインの特性評価研究も報告します。両方のリポジトリにおいて、ファイル単位のF1は最小のプロンプトからガイド付きプロンプトへと単調に増加し、最も強いテスト済みモデルではDragonFlyで0.8081、Reactで0.8078に到達しました。これらの結果は、プロンプト構築が一次のベンチマーク変数であることを示しています。より広く言えば、このベンチマークは、時間的整合性とプロンプト制御が、リポジトリを意識したソフトウェア工学評価における中核的な妥当性要件であることを強調しています。