要旨: 最近の細胞神経生物学のブレイクスルーと、新皮質の錐体ニューロンを異なる心的状態のレジームに結びつける詳細な生物物理モデリングに基づく研究を踏まえ、本研究は、数理的に裏づけられた定式化を導入し、モデル（例：Transformers）が覚醒時の想像的思考に根ざした計算原理を実装し、クエリ（Q）、キー（K）、値（V）の三者モジュレーションループを介して注意が適用される前に関連情報を事前に選択する方法を示します。ImageNet-1K におけるスケーラビリティ実験は、標準的な Vision Transformer (ViT) と比較して、ヘッド数・層・トークン数が削減されることにより、計算要求を抑制しつつ著しく速い学習を示しており、これは強化学習および言語モデリングにおける我々の以前の知見と一致しています。本アプローチは、入力トークン数 N に対しておおよそ rac{ ext{O}}{(N)} の計算量で動作します。
内在的な高次心的状態ダイナミクスを備えたスケーラブルな機械
arXiv cs.LG / 2026/3/17
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- 本論文は、クエリ（Q）、キー（K）、バリュー（V）間の三項モジュレーションループを用いて、アテンションの前に関連情報を事前選択する数学的に基づくTransformerの定式化を提案する。これは細胞神経生物学と心的状態ダイナミクスに基づく。
- 入力トークン数に対して概ね O(N) の複雑さを主張し、ヘッド数・層・トークン数を削減するなどのスケーラビリティの利点を報告している。
- ImageNet-1K でのスケーラブルな実験は、標準的な Vision Transformer (ViT) ベースラインと比較して、学習がより速く進み、計算需要が低減されることを示している。
- 神経科学とAIモデル設計を橋渡しすることで、本研究は、スケーラブルなモデルにおける高次の心的状態ダイナミクスを実装するための原則を示唆し、今後のアーキテクチャ研究に情報を提供する。
