プラグマティクスが文化と出会う：文化に適応した作品記述生成と評価

要旨: 言語モデルは意思決定タスクにおいてさまざまな形の文化的バイアスを示すことが知られている一方で、オープンエンドなテキスト生成タスクにおける文化的な馴染み度（文化的ファミリアリティ）の程度については、ほとんどわかっていません。本論文では、文化的に適応した美術品説明生成というタスクを導入します。これは、作品に埋め込まれた文化的シンボルや物語への馴染み度が異なる、異なる文化グループの観客に向けて、モデルが美術品を説明するものです。この実用的な生成タスクにおける文化的な能力（コンピテンシー）を評価するために、文化的に根ざした質問応答に基づく枠組みを提案します。その結果、基礎モデルはこのタスクに対してわずかに適切であるにとどまることがわかりましたが、実用的話者モデルを用いることで、模擬的な聞き手の理解を最大8.2%改善できることが示されます。さらに、人手による調査により、実用的な能力がより高いモデルほど、理解のために8.0%多く役立つと評価されることが確認されます。