事前学習済みの伝播ツリートランスフォーマーによるSNSの噂検出における過度な平滑化の回避
arXiv cs.CL / 2026/3/25
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、グラフニューラルネットワーク（GNN）を用いた一般的な噂検出アプローチが、過度な平滑化によって劣化することを主張しており、これは伝播ツリーの構造特性（1階レベルのノードが多いこと）と密接に関連している。
- また、GNNベースのモデルでは、返信の伝播ツリーに沿った長距離の依存関係を捉えることが難しいことも明らかにする。
- これら2つの課題に対処するため、著者らはP2T3を提案する。これは純粋なTransformerベースの手法で、伝播ツリーから会話チェーンを抽出し、トークン単位の埋め込みに加えて、結合構造を符号化するために設計された帰納的バイアスを用いる。
- P2T3は大規模なラベルなしデータで事前学習され、その後、従来の最先端手法と比較して評価されており、複数のベンチマークおよび少数ショット設定で性能が向上している。
- 本研究は、このアプローチが将来の大規模モデルや、統合的なマルチモーダルなソーシャルメディア噂研究の基盤となり得ることを示唆している。
