[D] ReLUニューラルネットワークのハッシュテーブル的側面

Reddit r/MachineLearning / 2026/4/5

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

この記事は、ReLU層のゲーティングを0/1の対角行列として表すことでReLU層を言い換え、その結果、層の出力をDWxの形で書けるようにする。
次の層での計算Wₙ₊₁Dₙが、ReLUの判断によって選択される実効的な線形写像としてどのように解釈できるかを調べる。
提案されている解釈の1つは、この構造が線形写像の空間に対するローカリティ・センシティブ・ハッシュテーブルのルックアップのように振る舞うというものだ。
別の見方として、この仕組みを連想記憶として捉え、対角行列Dₙが鍵として働き、情報のゲーティングや取得を行うとする。
これらの観点はいずれもまだ予備的であり、観点同士の統合やいくつかの表記上の問題が未解決であることを指摘する。ただし、基礎となる概念はシンプルなものとして提示されている。

ReLUの判定を0または1の成分を持つ対角行列にまとめるなら、ReLU層はDWxであり、ここでWは重み行列、xは入力です。

では次に、Wₙ₊₁Dₙとは何でしょうか。ここでWₙ₊₁は次の層の重みの行列です。

これは、線形写像（有効行列）への（局所性に敏感な）ハッシュテーブル参照として見なすことができます。また、Dₙをキーとする連想記憶そのものとして見ることもできます。

ここで議論があります:

ただし、見解はまだ十分に統合されておらず、表記法にも問題があります。

それでも、概念自体はとても単純で、議論の状態がまだ予備的であるにもかかわらず、人々が難なく追いかけられることを期待できるでしょう。