教育用教科書における歴史的バイアス検出のためのエージェンティック評価アーキテクチャ

概要: 歴史教科書には、しばしば、暗黙のバイアス、ナショナリズム的な枠付け、そして、大規模に監査することが難しい選択的な省略が含まれています。私たちは、マルチモーダルなスクリーニング・エージェント、5つの評価エージェントからなる異種の陪審、そして評決の統合と人間へのエスカレーションのためのメタ・エージェントから成る、エージェント型評価アーキテクチャを提案します。中心的な貢献は、教科書の物語部分と引用された歴史的出典を区別する「出典帰属プロトコル」であり、単一モデルの評価器における系統的な誤検出（false positives）を引き起こす誤帰属を防ぎます。
ルーマニアの高等学校段階の歴史教科書に関する実証研究では、スクリーニング対象の270件の抜粋のうち83.3\%が教育的に許容可能と分類されました（平均重症度 2.9/7）。これに対しゼロショットのベースラインでは5.4/7でした。これにより、エージェントによる熟議が過度な罰則（over-penalization）を緩和することが示されます。盲検の人間による評価（18名の評価者、54件の比較）では、「独立熟議」構成が、ヒューリスティックな変種およびゼロショットのベースラインの両方よりも、64.8\%のケースで選好されました。1冊の教科書あたり約\$2という費用で、これらの結果は、エージェント型評価アーキテクチャが教育ガバナンスにおける経済的に実行可能な意思決定支援ツールとして位置づけられることを示しています。