TPS-CalcBench：極超音速熱防護システム工学におけるLLMの解析計算能力を評価・診断するためのベンチマークと評価フレームワーク

概要: 安全性が極めて重要な航空宇宙工学の領域で、推論アシスタントとしてLLMを展開するには、一般的な科学ベンチマークよりも厳格な評価基準が必要です。極超音速の熱防護システム（TPS）設計では、不正確な停滞点熱流束や境界層の計算が、設計マージンの致命的な違反につながり得ます。数値的には妥当に見えるものの物理的には不正な解答を返すモデルは、応答を拒むモデルよりも危険です。現在の科学ベンチマークは、抽象的な数学と基礎的な物理のみをテストし、最終解答だけを評価して、工学的な推論プロセスを無視しており、このような重大な失敗を検出できません。私たちは、シミュレーションなしに経験豊富なTPSエンジニアが行う、極超音速空力および高温ガスダイナミクスにおける閉形式の解析計算のための、初めての診断ベンチマークであるTPS-CalcBenchを提案します。貢献は、Andersonの教科書から4つの難易度レベルと8つのカテゴリを含む領域指向のタスク分類、結果の正確さと推論の質を8次元のルーブリックで測り、人手による監査で「正解だが推論が誤り」の問題を特定する較正済みジャッジによるデュアルトラック評価、4560件の生データから420件の高信頼コア項目と810件のノイズ制御済みプレゲーティング項目を生成する人手-人工知能データパイプライン、データ品質がモデルのランキングに与える影響を測定するノイズ感度分析、そして3つの診断介入手法：DFA-TPSの微調整、RAG-EQによる検索の根拠付け、PA-CoTのプロセス認識型プロンプティングを含みます。7グループの13モデルでのテストでは、性能に大きな差があること（KPI 12.6-87.9）、隠れた公式選択の欠陥、データ駆動の順位変動、ならびに介入の有効性の改善が示され、安全性が極めて重要な工学用途におけるLLM展開の評価のための、完全な「診断-評価-介入」フレームワークが確立されました。