スパースオートエンコーダの特徴から作るドメインフィルタリング済み知識グラフ

要旨: スパース・オートエンコーダ（SAE）は言語モデルから数百万もの解釈可能な特徴を抽出するが、平坦な特徴の目録はそれ自体ではあまり有用ではない。領域の概念が、一般的で根拠の弱い特徴と混ざり合い、関連するアイデアは多数のユニットに散らばり、特徴同士の関係を理解する方法がない。本研究ではまず、大規模なSAEの目録から、コントラスト活性と多段階のフィルタリング手順を用いて、厳密な領域固有の概念宇宙を構築する。次に、フィルタリングされた集合上に2つの整合したグラフの見え方を構築する。1つは、コーパス全体の概念構造のための共起グラフであり、多段階の粒度で整理される。もう1つは、ソース層とターゲット層の特徴を、スパースな潜在経路を通じて結びつける、トランスコーダベースのメカニズム・グラフである。自動化された辺のラベリングによって、これらのグラフの見え方は、ラベルのない配置ではなく、読みやすい知識グラフへと変換される。生物学の教科書に関する事例研究では、これらのグラフは章・節の階層レベルで首尾一貫した構造を復元し、隣接するトピックをつなぐ概念を明らかにし、何千もの特徴を含む雑多な文レベルの活性を、モデルの局所的な活性を示すコンパクトで読みやすいビューへと変換する。以上をまとめると、平坦なSAEの目録を、特徴レベルの解釈可能性をモデル知識のグローバルな地図へと変換する内部知識グラフとして捉え直し、推論の忠実性（faithfulness）の監査を可能にする。