SciHorizon-DataEVA：異種の科学データに対するAIレディネス評価のエージェント型システム

要旨: AI-for-Science（AI4Science）は、機械学習モデルを予測、シミュレーション、仮説生成のワークフローに埋め込むことで、分野をまたいだ科学的発見をますます変革しています。しかし、これらのモデルの有効性は根本的に、AIの準備状況（AI-readiness）という科学データの特性によって制約されますが、そのためのスケーラブルで体系的な評価メカニズムは現在存在しません。本研究では、多様な科学データのためのスケーラブルなAI準備状況評価を行う新しいエージェント型システムSciHorizon-DataEVAを提案します。評価基準のレベルでは、AI準備状況を4つの相補的な次元に整理するSci-TQA2の原則を導入します。すなわち、ガバナンスの信頼性、データ品質、AI適合性、科学的適応性です。それぞれの次元は、きめ細かく実行可能な評価を可能にする、測定可能な原子的要素へと分解されます。これらの原則を大規模に運用するために、有向の循環的ワークフローによって統括される階層型マルチエージェント評価アプローチであるSci-TQA2-Evalを開発します。私たちのSci-TQA2-Evalは、軽量なデータセットのプロファイリング、適用可能性に応じたメトリクスの活性化、そしてドメイン上の制約とデータセット論文のシグナルに基づく知識強化型の計画を組み合わせることで、データセットに即した評価仕様を動的に構築します。これらの仕様は、検証と自己修正を内蔵した適応的でツール中心の評価メカニズムを通じて実行され、多様な科学データに対してスケーラブルかつ信頼性の高い評価を可能にします。複数の分野にまたがる科学データセットに対する大規模な実験により、原則に基づくAI準備状況評価におけるSciHorizon-DataEVAの有効性と汎用性が示されます。