MetaGAI：生成AIモデルおよびデータカード生成のための大規模かつ高品質ベンチマーク

要旨: 生成型AIの急速な普及により、透明性とガバナンスのための厳格なドキュメント作成基準が必要とされています。しかし、モデルカードおよびデータカードを手作業で作成することはスケールしません。一方で、自動化アプローチは、体系的な評価のための大規模で高忠実度なベンチマークが不足しています。私たちは、学術論文、GitHubリポジトリ、Hugging Faceの成果物を意味的トライアンギュレーションすることで構築した、検証済みの文書トリプレット2,541件から成る包括的ベンチマーク「MetaGAI」を提案します。先行研究の単一ソースのデータセットとは異なり、MetaGAIは、専用のRetriever、Generator、Editorエージェントから成るマルチエージェントフレームワークを採用しており、編集者によって洗練された正解データに対する人手評価を含む、4次元のhuman-in-the-loop（人を介したループ）評価によって検証されています。私たちは、自動化指標と、検証済みのLLM-as-a-Judge（LLMを判定者として用いる）フレームワークを組み合わせた、堅牢な評価プロトコルを確立します。大規模な分析の結果、スパースなMixture-of-Experts（MoE）アーキテクチャはコストと品質の効率において優れている一方で、「忠実性」と「網羅性」の間に基本的なトレードオフが存在することが明らかになりました。MetaGAIは、大規模における自動化されたモデルカードおよびデータカード生成手法のベンチマーク、トレーニング、分析のための基盤となるテストベッドを提供します。データとコードは以下で公開しています: https://github.com/haoxuan-unt2024/MetaGAI-Benchmark。