CobwebTM：生涯学習と階層型トピックモデリングのための確率的コンセプト形成

概要: トピックモデリングは、最小限の監督でテキストコーパス内の潜在的な意味構造を明らかにしようとする。ニューラル手法は高い性能を達成するが、広範なチューニングを必要とし、壊滅的忘却と固定された容量のために、生涯学習（ライフロングラーニング）に苦労する。一方で、古典的な確率モデルは柔軟性やストリーミングデータへの適応性に欠ける。我々は、逐次的な確率的概念形成に基づく、低パラメータの生涯学習型階層トピックモデルである\textsc{CobwebTM}を提案する。Cobwebアルゴリズムを連続的な文書埋め込みへ適応することで、\textsc{CobwebTM}はオンラインで意味の階層を構築し、教師なしのトピック発見、動的なトピック生成、そしてトピック数を事前に定めることなく階層的な整理を可能にする。多様なデータセットにおいて、\textsc{CobwebTM}は高いトピック整合性、時間経過に対して安定したトピック、質の高い階層を達成し、事前学習済み表現と組み合わせた、増分的な象徴的概念形成がトピックモデリングにおいて効率的なアプローチであることを示している。