アトリビューション誘導マスキングによる堅牢なドメイン間センチメント分類
arXiv cs.LG / 2026/5/6
📰 ニュースIdeas & Deep AnalysisModels & Research
要点
- プリトレーニング済みTransformerモデルは、センチメント分類器を学習元と異なる領域へ転移すると大きく精度が低下しやすく、本研究はその原因を領域特有のスプリアストークンへの依存に結びつけています。
- 後処理でトークン単位のアトリビューションのドリフトを確認しても、この一般化ギャップを十分に予測できないことを示し、学習時の介入として新手法を提案しています。
- Attribution-Guided Masking（AGM）は、勾配ベースのマスキング損失により、微調整中に高く寄与しているスプリアストークンを動的に検出してペナルティ付けすることで、解像度の高い特徴抑制を行います（必要に応じて反事実コントラスティブ損失と併用可能）。
- 4つの多様なドメインでの厳密なゼロショット転移（8つのランダムシード）で、最も難しいSentiment140の転移において、複数の強力なベースラインと競争力のある性能を示し、失敗要因をトークン単位で解釈できる点も特徴です。
- アブレーションにより、アトリビューション誘導マスキングが不可欠であり、これを除去したりランダムなトークン選択に置き換えたりすると、難しい転移で性能が一貫して悪化することが確認されています。
