平均プーリングが機能する理由：テキスト埋め込みにおける第2次の崩壊を定量化する

要旨: テキスト埋め込みを構築するために、トークン埋め込みを平均する平均プーリング（mean pooling）は標準的な手法である。本論文では、平均プーリングが実際のモデルにおいてうまく機能しているのかを検討する。まず、平均プーリングは、トークン埋め込みの空間構造を捉える第二次統計量など、一次統計量を超える情報を崩してしまう可能性があり、結果として異なるトークン埋め込み分布が類似したテキスト埋め込みへ写像され得ることを指摘する。この懸念に動機づけられ、本論文では、そのような平均プーリングによって誘発される崩壊（collapse）を定量化する単純な指標を提案する。次に、この指標を用いて、実際のモデルとテキストにおいてこの崩壊がどれほどの頻度で起きるかを実験的に測定し、現代のテキストエンコーダはこの崩壊に対して頑健であることを見出す。特に、対照的に微調整されたテキストエンコーダは、事前学習済みバックボーンモデルよりも崩壊が起きにくい傾向がある。さらに、これらのテキストエンコーダの頑健性が、各テキスト内におけるトークン埋め込みの集中（concentration）に支えられていることも見出す加えて、提案した指標によって定量化される、崩壊に対する頑健性が下流タスクの性能と相関することを見出す。全体として、本研究は、一見すると粗い平均プーリングに依存しているにもかかわらず、なぜ現代のテキストエンコーダが依然として有効であり続けるのかについての新しい視点を提供する。