多数言語ニューラル機械翻訳における「Attention Sinks（注意の吸い込み）」の発見、分析、対策

arXiv cs.LG / 2026/5/5

📰 ニュースIdeas & Deep AnalysisModels & Research

共有:

要点

本論文は、NLLB-200の多言語NMTにおいて、非内容トークン（終端記号EOS、言語タグ、句読点）が全クロスアテンション質量の83%〜91%を吸い込む「attention sinks」という系統的なアーティファクトを特定した。
このシンクにより注意分布が歪むため、素のクロスアテンション指標は内容レベルの類似度を約半分（36.7%の生データ vs. フィルタ後70.7%）も過小評価し得て、補正のない解釈分析は信頼できない。
著者らは、その原因が位置バイアスではなく語彙設計にある因果メカニズムであることを示し、LLMでの先行知見をNMTのクロスアテンションへ拡張した。
コンテンツのみを残してフィルタし、分布を再正規化する手法を検証した結果、このアーティファクトはアフリカ言語および非アフリカのベンチマークの双方で普遍的であり、補正後には意味のある信号（モード差、言語族クラスター、ソマリアに関する「パラドックス」）が回復されることを確認した。
本研究は、再現可能な解釈可能性研究のためのフィルタリング・ツールキットと補正済みデータセットを公開する。