LLMによる推論ベースの教師なしテキストクラスタの洗練

Abstract

教師なし手法は、大規模なテキスト集合から潜在的な意味構造を誘導するために広く用いられているものの、その出力にはしばしば首尾一貫していない、冗長な、または根拠が不十分なクラスタが含まれ、ラベル付きデータなしでは検証が困難です。そこで本研究では、大規模言語モデル（LLM）を埋め込み生成器としてではなく、意味の妥当性を判定する審判として用い、任意の教師なしクラスタリングアルゴリズムの出力を検証し再構成する、推論ベースの洗練（リファインメント）フレームワークを提案します。本フレームワークは3つの推論段階を導入します：（i）コヒーレンス検証。LLMがクラスタ要約がその構成テキストによって裏付けられているかどうかを評価します。（ii）冗長性の裁定。意味的な重なりに基づいて、候補クラスタを統合するか却下します。（iii）ラベルの根拠付け。クラスタに解釈可能なラベルを、完全に教師なしで割り当てます。この設計により、表現学習と構造妥当性の検証を切り離し、埋め込みのみのアプローチに典型的に見られる失敗モードを緩和します。実験では、相互作用モデルが異なる2つのプラットフォームから得た現実世界のソーシャルメディアコーパスに対して本フレームワークを評価し、古典的なトピックモデルおよび近年の表現ベースのベースラインと比べて、クラスタのコヒーレンスと、人間が整合するラベリング品質が一貫して向上することを示します。人手評価では、ゴールドスタンダードの注釈がないにもかかわらず、LLMが生成したラベルとの間に強い一致が見られます。さらに、時間的およびボリュームの条件を一致させた下での頑健性分析を行い、プラットフォーム横断での安定性を評価します。経験的な改善にとどまらず、本結果は、LLMベースの推論が、教師なしの意味構造を検証し洗練するための一般的な仕組みとして機能し得ることを示唆しています。これにより、教師なしで、大規模テキスト集合のより信頼性が高く、解釈可能な分析を可能にします。