FinTruthQA：投資家—企業間インタラクションにおける財務開示品質評価のためのAI駆動ベンチマーク

要旨: 正確で透明性のある財務情報の開示は、市場の効率性、投資家の意思決定、企業統治に不可欠である。中国の証券取引所の投資家向けインタラクティブ・プラットフォームは、上場企業が投資家の懸念に対応するための広く用いられているチャネルである。しかし、これらの回答はしばしば限定的であったり、実質的でなかったりするため、開示の質を大規模に評価することが難しい。 この課題に取り組むために、我々はFinTruthQAを導入する。これは、投資家と企業の相互作用における財務開示の質をAIで評価するための、我々の知る限り最初のベンチマークである。FinTruthQAは、6,000件の実世界の財務Q&Aエントリからなり、各エントリは4つの主要な評価基準に基づいて手作業で注釈付けされている。すなわち、(1) 質問の同定、(2) 質問の関連性、(3) 回答の読みやすさ、(4) 回答の関連性である。 我々はFinTruthQAに対して、統計的機械学習モデル、事前学習言語モデルとそれらの微調整版、ならびに大規模言語モデル（LLM）をベンチマーク化した。 実験の結果、既存のモデルは質問の同定および質問の関連性で強い性能を示す（F1 > 95%）一方で、回答の読みやすさ（Micro F1は約88%）およびとりわけ回答の関連性（Micro F1は約80%）では、実質的に大きく性能が低下することが分かった。これは、きめ細かな開示の質の評価が容易ではないことを示している。領域およびタスクに適応した事前学習言語モデルは、最も難しい設定において、汎用モデルやLLMベースのプロンプトに対して一貫して上回る。 これらの知見により、FinTruthQAは資本市場におけるAI駆動型の開示モニタリングのための実用的な基盤として位置付けられ、現実の財務環境における規制当局の監督、投資家保護、開示ガバナンスに対して価値を提供する。