STAC：ストリーミング3D再構成のための、プラグアンドプレイ可能な時空間対応キャッシュ圧縮

要旨: ストリーミング入力からのオンライン3D再構成では、長期的な時間的整合性と効率的なメモリ使用の両方が必要です。因果VGGTトランスフォーマは、キー・バリュー（KV）キャッシュ機構によりこの課題に対処しますが、キャッシュはストリーム長に対して線形に増大し、主要なメモリボトルネックとなります。限られたメモリ予算のもとでは、早期のキャッシュの退避（eviction）が再構成品質と時間的整合性を大きく低下させます。
本研究では、3D再構成のための因果トランスフォーマにおける注意（attention）が、本質的な時空間的疎性（spatio-temporal sparsity）を示すことを観察します。この洞察に基づき、大規模な因果トランスフォーマを用いたストリーミング3D再構成のための、時空間に配慮したキャッシュ圧縮フレームワークであるSTAC（Spatio-Temporally Aware Cache Compression）を提案します。STACは3つの主要コンポーネントから構成されます: (1) 減衰した累積注意スコアを用いて長期的に有益なトークンを保持する、ワーキング時間トークンキャッシング機構；(2) 空間的に冗長なトークンを、ボクセルに整列した表現へ圧縮してメモリ効率の高い保存を実現する、長期空間トークンキャッシング方式；そして(3) 連続するフレームを共同で処理して時間的な一貫性とGPU効率を改善する、チャンクベースのマルチフレーム最適化戦略。
大規模な実験により、STACは最先端の再構成品質を達成しつつ、メモリ消費をほぼ10倍削減し、推論を4倍高速化することが示され、ストリーミング環境におけるリアルタイム3D再構成のスケーラビリティを大幅に向上させます。