必要に応じてヘッド予算を適応配分することで効率化するマルチヘッド・アテンション

Abstract

トランスフォーマーは、多様な表現サブスペースを捉える上でのマルチヘッド注意の有効性により、幅広い領域において支配的なアーキテクチャとなっている。しかし、標準的なマルチヘッド注意は、入力ごとにすべてのヘッドを一様に活性化し、タスク要件や入力の複雑さに関係なく処理を行う。多くの場面、特にテキスト分類のような粗視的なタスクでは、関連情報はしばしばグローバルであり、注意ヘッドの完全な多様性を必要としない。その結果、固定数のヘッドを用いることは、配分が入力と一致しない場合に、不必要な計算コストを増やしたり、性能が最適にならない原因となりうる。この制限に対処するため、我々は、計算資源を動的に割り当てる適応的マルチヘッド注意メカニズムを備えたトランスフォーマー・アーキテクチャである BudgetFormer を提案する。我々の手法は、各入力に対して、必要とされる注意ヘッド数に対応するヘッド予算と、最も情報量の多いヘッドを選択する関連度分布の両方を学習する。さらに、探索と活用（exploitation）のトレードオフに基づく学習戦略も提案し、効率的な使用パターンへ収束する前に、モデルが効果的なヘッド構成を見出せるようにする。複雑さの異なるテキスト分類タスクに関する実験では、我々の手法が、FLOPs とメモリの観点で推論コストを削減しつつ、標準的なフル・マルチヘッド注意を上回る性能も達成できることを示している。これらの結果は、適応的なヘッド割り当てが、トランスフォーマーモデルの効率と有効性の両方を改善するための、原理に基づくアプローチとしての可能性を持つことを示唆している。