要旨: ニューラルNLIモデルは、真に推論するのではなく、データセットのアーティファクトに過剰適合します。仮説のみモデルはSNLIで57.7%を示し、強い見かけの相関を示します。また、ベースラインの誤りの38.6%はこれらのアーティファクトの結果です。そこで、Product-of-Experts (PoE) の学習を提案します。この方法は、偏ったモデルが過信している例に対して重み付けを下げます。PoEは、バイアスへの依存を4.71%（バイアス一致 49.85% から 45%）削減しつつ、ほぼ精度を維持します（89.10% 対 89.30%）。アブレーションにより、脱バイアスと精度のバランスが最も良いのは lambda = 1.5 であることが分かりました。行動ベースのテストでは、否定や数値推論に関する問題が依然として見られます。
プロダクト・オブ・エキスパーツ（PoE）学習により自然言語推論のデータセット・アーティファクトを低減
arXiv cs.CL / 2026/4/22
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 自然言語推論（NLI）のニューラルモデルは、真に推論しているのではなく、表面的なデータセット・アーティファクトに過適合することがあり、SNLIでは「仮説のみ」モデルが強い性能を示すことでそれが裏づけられます。
- 本研究は、ベースラインの誤りのうち38.6%がこれらのアーティファクトに起因すると推定しており、一般的なNLIベンチマークに大きな“見かけの相関”が存在することを示しています。
- 納得感のある（偏った）モデルが過度に自信を持っている例の影響を下げるために、Product-of-Experts（PoE）学習を提案します。
- PoEは全体精度をほぼ維持し（89.10% vs. 89.30%）、バイアスへの依存を4.71%低減します。また、アブレーションによりlambda = 1.5が脱バイアスと精度の最良のバランスであることがわかります。
- それでも脱バイアス後の行動評価では、否定の扱いや数値推論に関する弱点がなお残ることが示されています。
