昨日のスレッドについてフォローアップし、誰か意見を寄せたいと思う人がいるかどうか確認したかった。これは私の専門分野からかなり外れた作業なのですが、懸念に真正面から対処するのではなく、問題の捉え方を組み替えようとする試みのように見えるという点が気になっています。引っかかっているのはこの部分です：
TurboQuantの真の新規性は、回転されたベクトルの座標に続く厳密な分布を導出し、それを用いて最適な座標ごとの量子化を実現している点にあります。
これは、厳密な分布の導出そのものが新規性の一部であるかのように書かれています。しかし私が把握できる範囲では、より明確に述べるなら「彼らはよく知られた分布に関する事実をうまく活用し、それをどう使ったかが新規なのだと考えている」ということになるでしょう。
それに加えて、「人々が私たちの論文に気付き始めてから学術チャネルを通さなかったわけではない」なんて言い方は、あなたが誰かと直接やり取りをしていて、何か一つか別の点を直すことで合意していたのなら、かなり不誠実です。
参考のためのOpenReviewリンク：https://openreview.net/forum?id=tO3ASKZlok
私たちの論文「TurboQuant」への最近のコメントに対応して、事実関係を正すために以下の技術的な補足を提示します。
TurboQuantは、その中核となる手法をRaBitQから導出したのではありません。ランダム回転は量子化の分野における標準的かつ広く用いられている手法であり、RaBitQがオンラインに登場する以前から存在していました。たとえばhttps://arxiv.org/pdf/2307.13304、https://arxiv.org/pdf/2404.00456、またはhttps://arxiv.org/pdf/2306.11987のような確立した研究においてです。TurboQuantの真の新規性は、回転されたベクトルの座標に続く厳密な分布を導出し、それを用いて最適な座標ごとの量子化を実現している点にあります。
- RaBitQの最適性に関する訂正
RaBitQの最適性は、その内部の証明から導き出すことはできますが、論文の主要定理は、歪み誤差の上界がスケールすることを意味します。しかし、指数部の中に隠れた定数係数が含まれていると、誤差が指数関数的にスケールする可能性があります。そのため、この形式的な主張は、最適な上界を明示的に保証するものとはなっていませんでした。これが、手法が劣っている（サブオプティマルだという）という私たちの率直な初期の評価につながりました。しかし、付録を注意深く調査した結果、厳密な上界は実際に導き出せることが分かりました。これで、その最適性が彼らのより深い証明によって裏付けられていることを確認できたため、TurboQuantの原稿を更新し、彼らの上界を正確に評価するためのクレジットを反映します。
- 実験ベンチマークの重要性
計算時間のベンチマークは、私たちの結論にとっては本質的ではありません。TurboQuantの主な貢献は、特定の高速化ではなく、圧縮品質のトレードオフに焦点を当てています。私たちの仕事の価値は、極端な圧縮レベルにおいても高いモデル精度を維持することにあります。たとえ、RaBitQとのランタイム比較がまったく省かれていたとしても、この論文の科学的なインパクトと妥当性は、ほとんど変わらないでしょう。
- タイミングに関する観察
TurboQuantは2025年4月からarXiv上で公に利用可能であり、その著者の一人は、それより前からRaBitQの著者と連絡を取り合っていました。これはRaBitQの著者が認めている通りです。これらの技術的な論点を学術的なチャネルを通じて提起するのに、ほぼ1年の時間があったにもかかわらず、これらの懸念が提起されたのは、TurboQuantが広く注目を集めた後になってからでした。
私たちは、提案した変更を反映した上でarXivの版を更新しています。
[link] [comments]
