汎用性のあるクロスドメイン・パイプラインでAIの会議サマリーを評価する

Abstract

本稿では、生成AIアプリケーション向けの再利用可能な評価パイプラインを提示し、AIの会議サマリーに対して具体化したうえで、Dataset Pipeline から派生した公開アーティファクトパッケージとしてリリースする。我々のシステムは、5つの段階――ソース取り込み、構造化された参照の構築、候補生成、構造化されたスコアリング、レポーティング――を通じて、再利用可能なオーケストレーションとタスク固有のセマンティクスを分離する。スタンドアロンのクレーム評価器とは異なり、本システムは、正解（ground truth）と評価者の出力の両方を型付きで永続化されたアーティファクトとして扱う。これにより、集約、課題分析、統計的テストが可能になる。 我々は、city_council、private_data、whitehouse_press_briefings の全3ドメインにまたがる114件の会議からなる型付きデータセット上でオフラインループをベンチマークし、340の会議-モデルの組と、gpt-4.1-mini、gpt-5-mini、gpt-5.1 にわたる680のジャッジ実行を行った。このプロトコルでは、gpt-4.1-mini が最も高い平均精度（0.583）を達成する一方で、gpt-5.1 は完全性（0.886）とカバレッジ（0.942）で先行する。Holm補正を伴うペア有意性検定では、精度の勝者に有意な差は示されないが、gpt-5.1 の保持（retention）に対する有意な向上が確認される。 型付きDeepEvalの対比（contrastive）ベースラインは保持順序は維持するが、より高い全体的精度を報告しており、参照ベースのスコアリングでは、クレームに基づく評価によって捉えられる、裏付けのない（unsupported-specifics）エラーが見落とされ得ることを示唆する。型付き分析により、whitehouse_press_briefings が「精度を難しくする」ドメインであり、裏付けのない具体事項が頻出であることが特定される。デプロイ後のフォローアップでは、同じプロトコルの下で保持に関する指標において統計的に頑健な改善が得られるなど、gpt-5.4 があらゆる指標で gpt-4.1 を上回ることが示された。本システムはオフラインループをベンチマークし、ドキュメントを作成するが、オンラインのフィードバックから評価への経路は定量的には評価しない。