要旨: 極性(ポラリティ)の検出は、特にホロコーストの口述史のような、複雑な談話構造をもつ不均質で長文の物語において、ドメインシフト下では大きく難しくなる。本論文は、107,305の発話と579,013の文からなるコーパスに対し、3つの事前学習済みトランスフォーマーベースの極性分類器を用いて、長文のホロコースト口述史に対する市販(オフザシェルフ)の感情分類器の大規模診断研究を示す。モデルの出力を収集した後、モデル間の出力安定性を層化するための、合意ベースの安定性分類法(ABC)を導入する。系統的な不一致を局所化するために、ペアごとの一致率、Cohenのκ、Fleissのκ、ならびに行正規化した混同行列を報告する。補助的な記述的信号として、合意の各層から層化したサンプルにT5ベースの感情分類器を適用し、層間での感情分布を比較する。複数モデルによるラベル三角測量とABC分類法の組み合わせは、センシティブな歴史的ナラティブにおいて、感情(センチメント)モデルがどこでどのように分岐するのかを特徴づけるための、慎重で運用可能な枠組みを提供する。モデル間の合意は全体として低〜中程度であり、その主な要因は中立性(neutrality)をめぐる境界判断による。
合意から分岐した判断へ:ホロコースト口述史におけるABC層別センチメント
arXiv cs.CL / 2026/4/1
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、既製のセンチメント(極性)分類器が、長文で多様なホロコースト口述史のナラティブというドメインシフト下でどのように劣化するかを研究する。
- 大規模コーパス(107,305の発話、579,013の文)に対して、事前学習済みの極性分類器3モデル(トランスフォーマー系)を評価し、合意と不一致のパターンを定量化する。
- 著者らは、モデル間出力の安定性を層別化するために、合意に基づく安定性タクソノミー(ABC)を導入する。さらに、合意指標と混同行列を用いて、体系的な相違を特定する。
- 層別したサンプルにT5ベースの感情分類器を適用し、合意ストラタ間で感情分布を比較する。補助的な記述シグナルとして、ラベルのトライアンギュレーションを用いる。
- モデル間の全体的な合意は低〜中程度であり、不一致は主に中立性をめぐる境界判断に集中している。そのため、センシティブな歴史テキスト分析に対して慎重な枠組みが必要だと示唆される。




