ジャンル、モデル、デコーディング戦略にまたがる人間とLLMの文章における解釈可能な文体変動

概要: 大規模言語モデル（LLM）は、非常に流暢で人間らしい文章を生成できるようになっています。これにより多くの応用が可能になる一方で、大規模なスパム、フィッシング、または学術目的での不正利用といった懸念も生じます。LLMが生成した文章の検出に多くの研究が向けられてきた一方で、人手で書かれた文章と機械が生成した文章の間にある文体的な違いを理解することについては、限定的な研究しか行われてきません。本研究では、Douglas Biberの一連の語彙文法的および機能的特徴を用いて、人手で書かれたテキストと11の異なるLLMからの出力における文体の変動を、大規模に解析します。対象は8つの異なるジャンルと4つのデコーディング戦略です。本研究の結果は、意図的なLLMの利用を導くための洞察を明らかにします。第一に、LLM生成文の主要な言語的な識別要因は、生成条件（例：人間らしい文章を生成するように促すプロンプト設定、あるいは文体を継続するために人手で書かれたテキストが利用可能であること）に対して頑健であるように見えます。第二に、文体的特徴に与える影響は、出所そのものよりもジャンルの方が強いです。第三に、モデルのチャット版は一般に文体空間上で互いにまとまってクラスタリングされているように見え、そして最後に、デコーディング戦略よりもモデルの方が文体に大きな影響を与えるものの、いくつかの例外があります。これらの結果は、機械が生成した文章の文体的振る舞いを形作るうえで、プロンプトやデコーディング戦略よりも、モデルとジャンルの相対的重要性が高いことを示しています。