概要: デジタル・プラットフォーム上でのユーザー生成の映画レビューが指数関数的に増加したことにより、正確なテキストの感情分類は自然言語処理における中核的な課題となっています。標準的なBERTやリカレント型アーキテクチャを含む従来のモデルは、長距離の意味的依存関係を捉えることや、長文のレビュー文中における曖昧な感情表現を解決することにしばしば苦戦します。本論文では、BERTベースのトランスフォーマーエンコーダに、動的適応型マルチヘッド注意と教師ありコントラスト学習をシームレスに統合する新しいハイブリッド手法を提案します。動的適応型注意モジュールは、グローバルな文脈プーリング用ベクトルを用いて各注意ヘッドの寄与を動的に調整し、その結果、重要な感情を帯びたトークンに焦点を当てながらノイズを抑制します。同時に、教師ありコントラスト学習ブランチは、埋め込み空間においてクラス内のまとまり(コンパクトさ)をより厳密にし、クラス間の分離をより大きくすることを強制します。IMDBデータセットでの大規模な実験により、提案モデルは94.67\%の精度を達成し、強力なベースラインを1.5--2.5パーセンテージポイント上回るなど、競争力のある性能を示すことが確認されました。この枠組みは軽量で効率的であり、他のテキスト分類タスクにも容易に拡張可能です。
ダイナミック・アダプティブ・アテンションと教師ありコントラスト学習:テキスト感情分類のための新規ハイブリッドフレームワーク
arXiv cs.CL / 2026/4/14
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、BERTベースのTransformerエンコーダ上に構築したハイブリッド感情分類フレームワークを提案し、ダイナミック・アダプティブなマルチヘッド・アテンションと教師ありコントラスト学習を組み合わせる。
- ダイナミック・アダプティブ・アテンションは、グローバル文脈プーリングのベクトルを用いて各アテンションヘッドに対する重みを動的に調整し、感情にとって重要なトークンへの注意を高めることで、長文レビューの無関係な部分から生じるノイズを低減する。
- 教師ありコントラスト学習ブランチは、クラス内のクラスタリングをより強くし、クラス間の分離をより大きくすることを促すことで、埋め込み空間の形状を再構成する。
- IMDBデータセットでの実験では94.67%の精度を報告し、先行の強力なベースラインを1.5〜2.5ポイント上回るとともに、本手法が軽量であり、他のテキスト分類タスクにも拡張可能であると主張している。
- 全体として、本研究は、標準的なBERT/RNN系モデルに共通する、長距離依存関係の捉えにくさや、長文中の曖昧な感情表現への対応の弱さに焦点を当てている。




