Nautile-370M：スペクトラル・メモリとアテンションが融合した小型推論モデル

arXiv cs.LG / 2026/4/29

📰 ニュースDeveloper Stack & InfrastructureIdeas & Deep AnalysisModels & Research

共有:

要点

Nautile-370Mは、パラメータと推論の制約が厳しい環境下でも効率的な推論を行うことを目的とした新しい371Mパラメータの小型言語モデルです。
アーキテクチャは、線形時間のスペクトラル・シーケンス演算を用いる2つのSeqCond Attention（SCA）層と、1つの標準的なTransformer層を交互に配置することで、長文脈・状態追跡の効率と、アテンションに近いトークン間ルーティングの表現力を両立しようとしています。
訓練は限られた計算資源で実施され、Google TPU Research Cloud（TRC）経由の単一TPU v4-64ポッドスライスで事前学習し、その後の強化学習は単一のNVIDIA DGX Sparkで行ったと報告されています。
論文では理論的に、SCAがプレフィックス要約から任意の単一トークンを正確に復元でき、softmaxアテンションも特別な場合として再現できることを示し、連続極限でSCAはフル自己注意と少なくとも同等の表現力を持つと主張しています。
さらに、データ・パイプラインの構成と、推論・検証・応答品質に特化した強化学習段階の概要も説明されています。