LLMはトラウマの影響を理解できるのか？銃器暴力の生存者へのインタビューをLLMでコーディングするコストと利益

Abstract

銃器による暴力は差し迫った公衆衛生上の課題であるにもかかわらず、生存者の生活に根ざした経験に関する研究は十分に資金が投じられておらず、規模を拡大することも難しい。詳細なインタビューを含む質的研究は、地域における銃器による暴力が個人と社会にもたらす結果を理解し、効果的な介入を設計するための貴重な手段である。しかし、テーマ分析や帰納的コーディングによってこれらのナラティブを手作業で分析することは、時間がかかり、労力も大きい。近年、大規模言語モデル（LLM）の進歩により、このプロセスを自動化する道が開けた一方で、これらのモデルが脆弱な集団の経験を正確かつ倫理的に捉えられるのかについては懸念が残っている。本研究では、地域での銃器による暴力を生き延びた21人の黒人男性を対象としたインタビューに対し、オープンソースのLLMを用いて帰納的にコーディングすることの有用性を評価する。結果は、いくつかのLLMの構成によって重要なコードを特定できる場合がある一方で、全体としての関連性は低く、データ処理に対して非常に敏感であることを示した。さらに、LLMのガードレールは重大なナラティブの消失を引き起こす。これらの知見は、LLM支援による質的コーディングの可能性と限界の双方を明らかにするとともに、疎外されたコミュニティを対象とする研究においてAIを適用することに伴う倫理的課題を強調している。