PETScにおけるAI生成科学コードのエージェント主導評価フレームワーク

要旨：大規模言語モデルは科学的コード生成を大幅に加速させた一方で、生成されたコードを包括的に評価することは依然として大きな課題である。
従来のベンチマークは評価をテストケースの一致に限定しますが、ソルバーの選択、APIの規約、メモリ管理、パフォーマンスなど、機能的正確性と同様に重要となるHPCのライブラリコードにはこのアプローチは不十分です。
このギャップに対処するため、エージェント同士がエージェントを評価するパラダイムに基づくエージェント型フレームワークであるpetscagent-benchを導入します。
静的スクリプトに頼る代わりに、petscagent-benchはツール補助型の評価エージェントを展開し、別のテスト対象モデルエージェントによって生成されたコードをコンパイル、実行、測定し、正確性、性能、コード品質、アルゴリズムの適切性、ライブラリ固有の規約という5つの評価カテゴリにまたがる14の評価者パイプラインを調整します。
エージェントはいずれも標準化されたプロトコル（A2A および MCP）を介して通信するため、このフレームワークはソースコードにアクセスすることを必要とせず、任意のコーディングエージェントのブラックボックス評価を可能にします。
このフレームワークを、HPC用のPETScライブラリを用いた現実的な問題のベンチマーク群で実証します。
最先端モデルの経験的分析は、現在のモデルが読みやすく、よく構造化されたコードを生成する一方で、従来の合格/不合格指標が全く見逃すライブラリ固有の規約には一貫して苦労していることを示しています。