自己調整型スパースアテンション：トランスフォーマー加速のためのマルチフィデリティ評価を用いたハイパーパラメータ最適化

要旨: 疎結合のアテンション機構は、長い文脈を扱うトランスフォーマーの二乗計算のボトルネックを打破することを約束しますが、実運用での採用は重要な使い勝手のギャップによって制限され続けています。最適なハイパーパラメータは層とモデル間で大きく異なり、現在の手法（例：SpargeAttn）はそれらを特定するための手動のグリッド探索に依存しています。我々は AFBS-BO（Adaptive Fidelity Binary Search with Bayesian Optimization、適応忠実度バイナリ探索とベイズ最適化）を提案します。これは人間の介入なしに、最適なレイヤー別およびヘッド別のハイパーパラメータを発見する完全自動化フレームワークです。我々のハイブリッドアルゴリズムは、全体探索のためのベイズ最適化と局所的な洗練のためのバイナリ探索を組み合わせ、シーケンス長を跨ぐ複数の忠実度評価を活用してチューニングコストを削減します。Llama-2-7B において、AFBS-BOはグリッド探索より評価回数を8.8分の1に削減しつつ、ハイパーパラメータ探索を3.4倍の速度で加速し、高い疎性を持つ構成を特定して既存の疎結合アテンションのベースラインを上回り、密結合アテンションの品質にもほぼ一致します。手動で調整されたヒューリスティックなアプローチから自己最適化プリミティブへと変換することにより、AFBS-BOは多様なトランスフォーマーアーキテクチャとドメインにおけるプラグアンドプレーの加速を可能にします。