トピックから遷移構造へ: Predictive Associative Memory によるコーパス規模での無監督概念発見

要旨: 埋め込みモデルは、テキストを意味内容、すなわちテキストが何についてのものかで分類します。私たちは、テキスト内の時系列的共起が、テキストが何をするかという別種の構造—反復的遷移構造の概念—を発見することを示します。私たちは、29.4百万パラメータのコントラストモデルを、9,766冊のProject Gutenbergテキスト（総計3億7,300万の共起対、総計2,496万のパッセージ）に対して訓練し、事前訓練済みの埋め込みを関連付け空間へ写像します。その空間では、遷移構造が類似しているパッセージが互いにクラスタリングされます。容量制約（精度42.75%）の下で、モデルは個々の共起を記憶するのではなく、反復パターンを圧縮する必要があります。六つの粒度（k=50 から k=2,000）でクラスタリングすると、多解像度の概念マップが作成されます。そこでは、「直接対決」や「叙情的黙想」といった大まかなモードから、「船員方言」や「法廷での尋問」といった正確な文体・場面テンプレートまで含まれます。k=100 のとき、クラスタは平均して約4,508冊ずつ（全体は9,766）、コーパス全体のパターンを裏付けています。埋め込み類似性クラスタリングとの直接比較は、素の埋め込みがトピックでグループ化されるのに対し、関連付け空間は機能・文体・文学的伝統でクラスタリングすることを示しています。未知の小説は再訓練なしに既存のクラスタへ割り当てられます。関連付けモデルは各小説を整合性のあるクラスタの選択的サブセットへ集中させますが、素の埋め込み割り当てはほぼすべてのクラスタを飽和させます。検証コントロールは、位置情報、長さ、書籍の集中度に関する混乱要因に対処します。手法は Predictive Associative Memory（PAM、arXiv:2602.11322）をエピソード的想起から概念形成へと拡張します。PAM が特定の連想を想起するのに対し、圧縮下での多エポック対比訓練は未見テキストへ転用可能な構造パターンを抽出し、同じ枠組みが別のレジームで定性的に異なる挙動を生み出します。