TurboQuant：極端な圧縮によってAI効率を再定義する

「ベクトルは、AIモデルが情報を理解し処理するための基本的な方法です。小さなベクトルは、グラフ上の1点のような単純な属性を表すのに対し、「高次元」ベクトルは、画像の特徴、単語の意味、データセットの性質といった複雑な情報を捉えます。高次元ベクトルは非常に強力ですが、その一方で膨大な量のメモリを消費し、重要なボトルネックにつながります。具体的には、頻繁に使われる情報を単純なラベルのもとに保存し、コンピュータが遅くて巨大なデータベースを検索せずに即座に取り出せるようにする、高速な『デジタルなチートシート』であるキー・バリューキャッシュのボトルネックです。

ベクトル量子化は、高次元ベクトルのサイズを削減する強力な古典的データ圧縮技術です。この最適化は、AIの2つの重要な側面に対処します。すなわち、より高速な類似度検索を可能にすることで、大規模AIや検索エンジンを支える高速技術であるベクトル探索を向上させること。そして、キー・バリューのペアのサイズを減らしてキー・バリューキャッシュのボトルネックを解消し、より高速な類似度検索を実現するとともに、メモリコストを下げることです。とはいえ、従来のベクトル量子化は、通常、それ自身の『メモリオーバーヘッド』を導入します。なぜなら、ほとんどの手法では、データの小さなブロックごとに（完全な精度で）量子化定数を計算し保存する必要があるからです。このオーバーヘッドは、数値あたり1〜2ビットの追加として積み上がり、ベクトル量子化の目的を部分的に相殺してしまう可能性があります。

本日、私たちはTurboQuant（ICLR 2026で発表予定）を紹介します。これは、ベクトル量子化におけるメモリオーバーヘッドという課題に対して、最適に対処する圧縮アルゴリズムです。また、TurboQuantがその成果を達成するために用いる Quantized Johnson-Lindenstrauss（QJL）とPolarQuant（AISTATS 2026で発表予定）も提示します。検証では、3つの技術すべてが、AIモデルの性能を損なうことなくキー・バリューのボトルネックを減らすうえで大きな可能性を示しました。これは、検索やAIを含み、とりわけそれらの分野における、圧縮に依存するあらゆるユースケースに対して、潜在的に非常に深い影響をもたらすかもしれません。」