ニューラルアーキテクチャにおける永続的構造メモリのための座標系問題
arXiv cs.LG / 2026/3/25
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文では、潜在スロット状態間の遷移に対して永続的なフェロモン場を用い、フェロモン場を通じてスパース注意をルーティングするデュアルビュー・フェロモン経路ネットワーク（DPPN）を提案し、ニューラルアーキテクチャにおける永続的構造メモリを研究する。
- 永続的構造メモリのための重要な要件として、安定した座標系と、円滑な転送を実現する有効なメカニズムの2点を見出し、モデルと共同で学習された座標は本質的に不安定であると主張する。
- 著者らは安定性を阻む具体的な障害として3つ（フェロモンの飽和、表面構造との絡み合い、座標の非互換）を特定し、コントラスト学習による更新、マルチソース蒸留、ハンガリアン整合、意味分解といった複数の緩和策が、埋め込みをゼロから学習する場合には失敗することを示す。
- 外部（extrinsic）の構造非依存座標として固定したランダムフーリエ特徴を用いると安定したルーティングが得られるが、フェロモンに基づくルーティングバイアスはタスク間で転移しない。しかし、ルーティングバイアスを学習率の変調（warm pheromone）に置き換えることで、同系統タスクへの転移が改善される。
- 実験的に、DPPNはタスク内学習においてトランスフォーマーおよびランダムなスパース基準を上回り、さらに外部座標上の構造補完関数によって同系統性能も向上し、安定性と情報性のトレードオフを部分的に緩和する。
広告
