スーパー・アプリール：1つのチェックポイントで多段階の速度を実現

要旨: すべてのデコーダ層が4種類の学習済みミキサー選択肢――フル・アテンション (FA)、スライディング・ウィンドウ・アテンション (SWA)、キミ・デルタ・アテンション (KDA)、およびゲート付きデルタネット (GDN)――を提供する、15Bパラメータのスーパーネット Super Apriel を公開します。配置（placement）は各層に対して1つのミキサーを選択します。配置はサービング時に再ロードなしでリクエスト間で切り替え可能であり、単一のチェックポイントから複数のスピードプリセットを実現できます。共有チェックポイントにより、別個のドラフトモデルを用いずに推測（speculative）デコーディングも可能になります。すべてFAのプリセットは、報告されたすべてのベンチマークにおいて Apriel 1.6 教師モデルと一致します。推奨されるハイブリッド・プリセットは、品質保持率77%〜96%の範囲で、デコードスループットを 2.9\times から 10.7\times まで拡大します。こうしたスループット上の優位性は、より長いコンテキスト長で累積的に強まります。48層にわたって4種類のミキサーを用いるため、構成空間は非常に大きくなります。層ごとのミキサー割り当てから配置の品質を予測する代理モデルにより、スピード・品質の地形（landscape）が扱いやすくなり、各スピード水準における最良のトレードオフを特定できます。各スピード水準における最良の構成は、学習の早い段階で識別できるのか、それとも収束後でなければ無理なのかを調査します。ランキングは0.5B規模で素早く安定しますが、最も効率的な構成は15Bでより高い不安定性を示すため、小規模モデルからの外挿には注意が必要です。Super Apriel は、固定した Apriel 1.6 教師モデルによる確率的蒸留（stochastic distillation）で学習し、その後に教師あり微調整（supervised fine-tuning）を行います。スーパー ネットの重み、Fast-LLM の学習コード、vLLM のサービングコード、および配置最適化ツールキットを公開します。