Edu-MMBias: A Three-Tier Multimodal Benchmark for Auditing Social Bias in Vision-Language Models under Educational Contexts

arXiv cs.AI / 4/14/2026

💬 OpinionSignals & Early TrendsIdeas & Deep AnalysisModels & Research

Key Points

  • Edu-MMBiasは、教育文脈でVision-Language Models(VLMs)の社会的バイアスを監査するための3階層(認知・情動・行動)ベースのマルチモーダル・ベンチマーク/監査フレームワークを提案している。
  • 現行の評価がテキスト中心で視覚モダリティのバイアスを見落としがちだという課題を踏まえ、視覚入力がテキストのアラインメント対策を回避する可能性(安全上の“バックドア”)を検証対象に含めている。
  • 自己修正メカニズムとhuman-in-the-loop検証を組み込んだ生成パイプラインにより、汚染に強い学生プロファイルを合成してVLMに対するストレステストを行う。
  • 実験では、低ステータスの語りを好む補償的なクラスバイアスが見られる一方、健康や人種に関するステレオタイプが深層に残っているなど、直感に反するパターンが報告されている。
  • 視覚入力によってテキストベースのアラインメント保護が再び無効化される現象と、潜在的な認知と最終決定のミスアラインが示唆されている。

Abstract

As Vision-Language Models (VLMs) become integral to educational decision-making, ensuring their fairness is paramount. However, current text-centric evaluations neglect the visual modality, leaving an unregulated channel for latent social biases. To bridge this gap, we present Edu-MMBias, a systematic auditing framework grounded in the tri-component model of attitudes from social psychology. This framework diagnoses bias across three hierarchical dimensions: cognitive, affective, and behavioral. Utilizing a specialized generative pipeline that incorporates a self-correct mechanism and human-in-the-loop verification, we synthesize contamination-resistant student profiles to conduct a holistic stress test on state-of-the-art VLMs. Our extensive audit reveals critical, counter-intuitive patterns: models exhibit a compensatory class bias favoring lower-status narratives while simultaneously harboring deep-seated health and racial stereotypes. Crucially, we find that visual inputs act as a safety backdoor, triggering a resurgence of biases that bypass text-based alignment safeguards and revealing a systematic misalignment between latent cognition and final decision-making. The contributions of this paper are available at: https://anonymous.4open.science/r/EduMMBias-63B2.