もっともらしいが誤り：天体物理ワークフローにおけるエージェント型失敗のケーススタディ

要旨: エージェンティックAIシステムは科学的ワークフローにますます統合されつつある一方で、現実的な条件下での振る舞いは十分に理解されていません。私たちは2つのワークフローパラダイムと18の天体物理タスクにわたってCMBAgentを評価します。One-Shot設定では、領域固有の文脈にアクセスできることで、約~6倍の性能向上が得られます（0.85 対 ~0、文脈なしの場合）。主要な失敗モードは、沈黙したまま誤った計算を行うことです――つまり、文法的に正しいコードが、もっともらしいが不正確な結果を生成するというものです。Deep Research設定では、システムはストレステストにおいてサイレントな失敗を頻繁に示し、自らの不具合を自己診断できないまま、物理的に整合しない事後分布（posteriors）を生成します。全体として、性能は適切に仕様化されたタスクでは良好ですが、推論の限界を探ることを目的に設計された問題では低下し、しかも多くの場合、目に見えるエラーの兆候はありません。これらの知見は、エージェンティックな科学ワークフローにおける最も懸念すべき失敗モードが、目立つ失敗そのものではなく、誤りの結果を自信をもって生成してしまうことにあることを示しています。私たちは、科学AIエージェントの信頼性を体系的に分析することを促進するために、評価フレームワークを公開します。