要旨: 宗教・神学の研究分野において、スピリチュアリティは、その概念が文化を超えるだけでなく、各個人に対して独自の体験を提供するからであるという理由により、重要な研究対象として大きな注目を集めています。しかし社会科学者は、多くの場合、基本的にオンラインでは利用できない限られたデータセットに依存しています。本研究では、社会科学者と共同で、高品質なマルチメディア・マルチモーダル・データセットである\textbf{SACRED}を開発しました。このデータセットでは、分類の忠実性が保証されています。\textbf{SACRED}を用いて、13種類の代表的なLLMの性能に加え、従来型のルールベース手法や微調整(fine-tuned)手法の性能を評価しました。その結果、DeepSeek-V3モデルはこの種の抽象的な概念の分類において良好な性能を示し(すなわち、Quoraテストセットで79.19\%の精度)、またGPT-4o-miniモデルは視覚タスクにおいて他のモデルを上回りました(63.99\%のF1スコア)。伝えられるところによれば、これはオンラインのスピリチュアリティ・コミュニケーションに関する、初めての注釈付きマルチモーダル・データセットです。さらに本研究では、コミュニケーション科学の研究にとって価値のある、新しいタイプのつながり(connectedness)も見出しました。
SACRED:オンライン・スピリチュアリティにおけるつながりのタイプを分類するための、忠実で注釈付きのマルチメディア・マルチモーダル・多言語データセット
arXiv cs.CL / 2026/3/31
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、オンライン・スピリチュアリティに関するコミュニケーションにおけるつながり(connectedness)のタイプを分類することを目的とした、忠実で注釈付きのマルチメディア・マルチモーダル・多言語データセット「SACRED」を紹介する。
- 著者らは、社会科学者との協働によりSACREDを開発したことを報告しており、この研究領域に対してオンラインでアクセス可能な高品質データセットが不足している点に対応するためである。
- SACREDを用いて、著者らは13の人気LLMに加え、ルールベースおよび微調整(fine-tuned)手法をベンチマークし、その結果、DeepSeek-V3がQuoraテストセットで強い性能を示した(79.19%の精度)。
- 視覚に関するタスクでは、比較対象モデルの中でGPT-4o-miniが最も良好な総合パフォーマンスを達成した(F1スコア 63.99%)。
- 本研究はさらに、新たに観測されたつながりのタイプを特定しており、コミュニケーション科学に関するさらなる研究を支援することを意図している。



