極端なKVキャッシュ圧縮とロングコンテキスト効率
静的量子化は、回転ベースおよびコンテキストに応じた方式へと移行しつつあります。OCTOPUSとOScaRは、キャッシュサイズを大幅に削減しながら、ほぼロスレスなINT2性能を達成します [1]、[2]。スパースなトークン・インデクサは、探索可能なスケッチによって密なキャッシュを置き換え、より低いメモリコストで注意（attention）の忠実性を維持します [3]。線形注意のデカップリングは、KVストリームを短期の可変部分と長期の静的部分に分割し、二次的な増加なしにロングコンテキスト推論を正確に保ちます [4]。これらのアイデアを組み合わせることで、多くのリトリーバル強化や多言語アプリケーションにとってのボトルネックである、手頃なハードウェアで数千トークンを扱えるようになります。
LLM推論のための検証可能な報酬
検証可能な報酬からのRL（RLVR）は、粗いGRPOのベースラインではなく、トークン単位のクレジット信号によって方策更新を洗練します。識別的なトークン重み付けは、正しい中間ステップに対してより高い報酬を与え、数学およびコードの精度を向上させます [5]。サブ問題レベルのカリキュラム学習は、難しい問題を扱いやすい要素に分解し、モデルが段階的に報酬を獲得できるようにして、未見の構成への汎化も可能にします [6]。その結果、多段階の推論を要求するベンチマーク群において、厳密解の達成率が測定可能な形で向上します。
3Dジオメトリのための統一的生成フレームワーク
視覚言語モデルは現在、シミュレーションに投入可能なアセットを出力するための、明示的な幾何学プリミティブと組み合わせられています。UniTのGroup Autoregressive Transformerは、点・線・面を単一のトークン列として扱い、メートルスケールのシーンをエンドツーエンドで生成できるようにします [7]。別系統の研究では、4次元ガウススプラッティングをパイプラインに注入し、生のセンサストリームを、下流の物理シミュレータに適した、密で時間的に整合的な再構成へと変えています [8]。これは知覚とアセット作成を統合し、仮想世界の構築を長年にわたって制限してきた手作業のモデリング負荷を軽減します。
注目すべき論文
スペクトル容量のためのMuon Optimizer – MuonはAdamWを置き換え、フィードフォワード層のスペクトル容量をモデルサイズに対して線形にスケールさせます。その結果、追加のパラメータなしに表現力を高めます [9]。この発見は、オプティマイザの設計が内部表現を直接形作り得ることを示しており、トランスフォーマ研究では十分に探究されていないレバーです。
実在するエージェント評価のためのTerminalWorld – TerminalWorldは、実際の開発者のワークフローを模した、大規模で自動的にキュレーションされたコマンドライン課題のベンチマークを提供します。最良のエージェントでさえ到達できるのは62.5%の合格率までであり、実験室レベルの成功と実用上の使いやすさの間にギャップがあることが明らかになります [10]。
WavFlowによる生波形生成 – WavFlowは潜在エンコーダを捨て、flow-matchingを用いて波形パッチから直接オーディオを生成します。モデルは、拡散ベースラインに匹敵する高い忠実度の合成を達成し、質の高い音声生成にはセマンティック—音響のボトルネックが必要なのかどうかに疑問を投げかけます [11]。
その他の注目すべき詳細
エージェントパイプラインにおけるObservable-Read Isolation – 配信（deliveries）を記録するHTTPミドルウェアがObservable-Read Isolationを強制し、エージェントのコアコードに触れることなく、多段階エージェントにおける構造的なレースコンディションを排除します [12]。
メッシュ流動マッチングのためのMatérn Process – 三角分割に依存しないMatérnプロセスのノイズモデルを導入することで、flow-matchingジェネレータは数百万の三角形を持つメッシュを生成できるようになり、従来のメッシュ合成手法が持つ多様性の上限を打ち破ります [13]。
FlowLong – スライディングウィンドウの重ね合わせとTweedieマッチングを組み合わせることで、自己回帰型のビデオ拡散の生成ホライズンを追加コストなしで拡張します。この手法は、任意に長いシーケンスにわたって時間的な整合性を保持し、標準的な拡散モデルに知られている弱点を解消します [14]。
参考文献
- OCTOPUS: 極限最適二乗誤差量子化による八面体パラメータ化を介したTransformer向け最適化KVキャッシュ
- OScaR: LLMおよびそれ以降における極端なKVキャッシュ量子化のためのオッカムの剃刀
- Full Attention Strikes Back: 百トレーニングステップ以内にスパースへ全注意を移植する
- Gated DeltaNet-2: 線形注意におけるEraseとWriteのデカップリング
- DelTA: 検証可能な報酬からの強化学習における識別的トークンクレジット割当
- 推論チェーンから検証可能なサブ問題へ：カリキュラム強化学習によりLLM推論のクレジット割当を可能にする
- UniT: Group Autoregressive Transformerによる統一的ジオメトリ学習
- Sensor2Sensor: 自動運転のためのクロス・エンボディメント・センサ変換
- 同じアーキテクチャ、異なる容量：オプティマイザに起因するスペクトルスケーリング則
- TerminalWorld: 実世界のターミナル課題でエージェントをベンチマークする
- WavFlow: 波形空間における音声生成
- S-Bus: 複数エージェントLLMの状態調整のための自動的なReadセット再構成
- 三角分割に非依存なメッシュ上でのflow matchingのためのMatérnノイズ
- FlowLong: 多様体制約付きTweedieマッチングによる推論時の長尺ビデオ生成
