物語の類似性予測のための資源としての多視点性（マルチパースペクティヴィティ）

Abstract

ナラティブ（物語）同一性の予測は、本質的に解釈を伴うタスクとして理解できる。すなわち、同じテキストに対して異なる、どれも等しく妥当な読みが存在しうるため、それにより解釈が分岐し、その結果として類似度の判断も異なってしまう。これは、単一の真値を符号化する意味評価ベンチマークにとって根本的な課題である。多視点性（multiperspectivity）を克服すべき課題として扱うのではなく、予測システムの意思決定プロセスにそれを組み込むことを提案する。この方針を検討するために、31のLLMパーソナ（人格）からなるアンサンブルを作成した。これらは、解釈フレームワークに従う実務家タイプから、より直感的で一般向けのキャラクターまで幅広い。実験はSemEval-2026 Task 4データセットで行い、システムは精度スコア0.705を達成した。精度はアンサンブルのサイズにともなって向上し、独立性が弱まった状況でのCondorcet Jury Theoremに似たダイナミクスと整合する。実務家パーソナは個別には性能が劣るが、誤りの相関が小さくなるため、多数決（majority voting）ではより大きなアンサンブル改善が得られる。誤り分析の結果、男女に焦点を当てた解釈語彙と精度の間には、すべてのパーソナカテゴリにわたって一貫した負の関連があることがわかった。これは、ベンチマークに関係しない次元への注意が向いているのか、あるいは真値（ground truth）に含まれていない妥当な解釈が存在しているのかのいずれかを示唆している。この発見は、解釈の多元性（interpretive plurality）を考慮できる評価フレームワークの必要性を強調する。