すべての主観性は同じではない！NLPにおける主観性評価のための望ましさ（デジデラタ）の定義

Abstract

主観的な判断は、いくつかのNLPデータセットの一部であり、近年の研究では、その出力がこの多様な観点を反映しているモデルがますます重視されるようになってきています。このような応答によって、しばしば支配的な観点によって周縁化されたり見えにくくされたりする少数派の声を明らかにすることができます。私たちの評価の実践が、これらのモデルの目的と整合しているかどうかは、なお問いとして残っています。本ポジションペーパーでは、NLPデータとモデルにおいて主観性がどのように表現されるかに基づき、主観性に敏感なモデルのための7つの評価上の望ましさ（desiderata）を提案します。これらの望ましさは、ユーザー中心の影響を念頭に置いたトップダウンのアプローチで構築されています。60本の論文の実験設定を調査し、主観性のさまざまな側面がいまだ十分に研究されていないことを示します。例えば、曖昧な入力と多声的（polyphonic）な入力の区別、主観性がユーザーに対して効果的に表現されているかどうか、そして異なる望ましさ同士の相互作用が欠けていることなど、他にも多くのギャップがあります。