題名:From Data Statistics to Feature Geometry: How Correlations Shape Superposition

要旨:機械論的解釈における中心的な考え方は、ニューラルネットワークが、それが持つ次元数よりも多くの特徴を表現し、それらを重ね合わせ（スーパーポジション）て、過完全な基底を形成しているという点です。この枠組みは影響力があり、スパースオートエンコーダのような辞書学習アプローチを動機づけてきました。しかし、重ね合わせは主に、特徴が疎でかつ相関のない理想化された設定で研究されてきました。このような設定では、重ね合わせは通常、干渉を導入するものとして理解され、その干渉は幾何学的に最小化され、ReLUのような非線形性によって除去され、整則多面体のような局所構造が得られる、と説明されます。本研究では、インターネット文書のバイナリなBag-of-Words表現を重ね合わせとして符号化するための制御された設定であるBag-of-Words Superposition（BOWS）を導入することで、この説明が現実的なデータには不十分であることを示します。BOWSを用いると、特徴が相関している場合、干渉は除去すべき単なるノイズではなく、建設的（建設的に働く）になり得ることが分かります。これは、特徴をその共活性化パターンに従って配置することで実現されます。つまり、活性化している特徴同士の干渉は建設的になる一方で、誤検出を避けるためにReLUをなお使用します。この種の配置は、重み減衰（weight decay）で学習されたモデルにおいてより広く見られ、実際の言語モデルで観測されている意味クラスタや周期的な構造が自然に生じることを示しますが、それらは重ね合わせに関する標準的な見取り図では説明されていませんでした。本論文のコードは この https URL にあります。

ブックマーク

書誌および引用ツール

本論文に関連付けられたコード、データ、メディア

デモ

レコメンダーと検索ツール