普遍的な丁寧さはない：PLUMコーパスを用いた丁寧さがLLMに与える影響の言語横断・マルチモデル研究

Abstract

本論文では、丁寧さ・不丁寧さの程度が異なるユーザープロンプトに対する大規模言語モデル（LLM）の応答を探究する。Brown と Levinson による丁寧さ理論、および Culpeper による不丁寧さフレームワークを基盤として、3つの言語（英語, ヒンディー語, スペイン語）、5つのモデル（Gemini-Pro, GPT-4o Mini, Claude 3.7 Sonnet, DeepSeek-Chat, Llama 3）、およびユーザ間の3種類の対話履歴（生のまま, 丁寧, 不丁寧）にわたって実験を行った。サンプルは、さまざまな種類のプロンプトと応答の22,500組であり、8因子の評価フレームワークにより5段階の丁寧さで評価した：一貫性、明瞭さ、深さ、応答性、文脈保持、毒性、簡潔さ、読みやすさ。その結果、モデルの性能は口調、対話履歴、そして言語に強く影響されることが示された。丁寧なプロンプトは平均的な応答品質を最大で約11%向上させ、不丁寧な口調はそれを悪化させるが、これらの効果は言語やモデルをまたいで一貫しておらず、普遍的でもない。英語では丁寧または直接的な口調が最も良く働き、ヒンディー語ではへりくだった、かつ間接的な口調が適しており、スペイン語では断定的な口調が適している。モデル間では、Llama が口調への感受性が最も高く（範囲11.5%）、一方で GPT は敵対的な口調に対してより頑健である。これらの結果は、丁寧さが LLM の振る舞いに影響する定量化可能な計算変数であることを示しているが、その影響は普遍的というより、言語とモデルに依存する。再現性の支援と今後の研究のために、さらに PLUM（Politeness Levels in Utterances, Multilingual）も追加で公開する。これは3言語にわたる計1,500件の、人手によって検証されたプロンプトから成り、5つの丁寧さカテゴリに分類された公開コーパスであり、また丁寧さ理論から導かれ、データセットに対して経験的に評価した6つの反証可能な仮説に関する形式的な補足分析も提供する。