健康リテラシー注釈における「構造化された不一致」：認識論的安定性、概念的困難さ、合意度別推論

arXiv cs.CL / 2026/4/23

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、一般的なNLPの注釈パイプラインが1つの潜在的な真値を前提とし、不一致を主にノイズとして扱うことが多い一方で、パースペクティブ主義的アプローチは不一致を情報として捉え得ると主張している。
エクアドルとペルーで収集したCOVID-19の自由回答6,323件に対し、注釈者が公衆衛生の規範ガイドラインとの整合度を反映する比例的正確さスコアを付与し、判断の分布全体を集約ラベルではなく直接分析できるようにした。
分散分解の結果、注釈者個人よりも「質問レベルの概念的困難さ」が不一致のばらつきを大きく説明しており、不一致はタスクそのものによって構造化されていることが示された。
合意度（注釈者間一致度）で層別した分析では、国・教育・都市/農村といった社会科学的効果が、層によって大きさが変わるだけでなく方向が逆転する場合もあることが明らかになった。
著者らは、評価対象の解釈タスクでは認識論的に安定な成分と不安定な成分の両方が含まれ、単純な集約が重要な推論の違いを見えなくするため、強いパースペクティブモデリングが統計的にも必要だと結論づけている。