LLMsは私たちの書かれた言語をどのように歪めるのか

概要:
大規模言語モデル（LLMs）は世界中で10億人以上に利用されており、主に執筆の補助に使われています。
本研究では、LLMsが人間の文章の声やトーンを変えるだけでなく、意図された意味まで一貫して変化させることを示します。
まず、執筆の際に人々が実際にLLMsとどのようにやり取りしているかを理解するために、人間の利用者を対象としたユーザースタディを実施します。
私たちの調査結果は、LLMの広範な使用が、トピックの問いに対して中立のまま回答するエッセイの割合をほぼ70％も増加させたことを示しています。
特に大量にLLMを使用するユーザーは、執筆がより創造性に欠け、自分の声が反映されていないと報告しました。
次に、LLMsが広く普及する前の2021年に収集された人間が書いたエッセイのデータセットを用いて、データセットに含まれる人間の書いたフィードバックに基づいてエッセイを修正するようLLMに依頼した場合、結果の内容と意味に大きな変化を誘発するかを研究します。
専門家のフィードバックを受けて文法の修正のみを行うよう指示しても、テキストを変更し、その変更が意味を大幅に変えることが分かりました。
次に現実世界で生成されたLLMテキストを検討し、最近の主要なAIカンファレンスでAI生成の科学的査読のうち21%に特に焦点を当てます。
LLM生成の査読は、研究の明確さと意義に対する重みが著しく低く、平均してスコアが1点高く付けられるという結果になりました。
これらの発見は、AI利用の認識される利益と、人間の文章の意味論に対する暗黙の一貫した影響との間に不整合があることを浮き彫りにし、広範なAIによる執筆が私たちの文化的・科学的機関にどのように影響するかについて、今後の研究を促しています。
返却形式: {"translated": "翻訳されたHTML"}