文書選択がクエリ指向型テキスト分析に与える影響

要旨: 文書コレクションの分析では、分析対象として何のデータを選ぶかを決める必要があることが多い。というのも、特定の研究課題に関連する文書はすべてではなく、また計算上の制約によりすべての文書を分析することはできないからである。しかし、選択戦略の選択がもたらす影響については、これまでほとんど研究が行われていない。そこで本研究では、4つのテキスト分析手法（LDA、BERTopic、TopicGPT、HiCode）の出力に対し、26件の自由記述形式のクエリを含む2つのデータセットで、（ランダム選択からハイブリッド検索まで）7つの選択手法を体系的に評価する。我々の評価は、実務上の指針を明らかにする。すなわち、弱い選択戦略の落とし穴や、より複雑な手法に伴う不要な計算オーバーヘッドを回避できるため、セマンティック検索、またはハイブリッド検索が有力な「まず試すべき」アプローチとなる。全体として、本評価フレームワークは、データ選択を実務上の必然ではなく方法論上の意思決定として位置付け、新たな戦略の開発を促すものである。