TICA(Tiny Infused Causal Attention)コンセプトについて

はじめに 近年、線形Attention（RWKV, Mamba等）とSelf Attentionを組み合わせた「ハイブリッドモデル」が注目を集めています。Qwen3からもハイブリッド構成がリリースされ、Jamba、Zamba、Griffinなど、各社がこのアプローチを採用し始めました。 これらの実証から、興味深い事実がわかってきています。Attentionレイヤーは全体の30%程度でもモデルの品質を維持できるということです。 しかし、私はこの「単純なハイブリッド」に限界を感じていました。 単純なハイブリッドの問題 従来の私のハイブリッドアーキテクチャでは、Attentionレイヤ...