TRN-R1-Zero：強化学習のみで実現するLLMによるテキストリッチ・ネットワーク推論

要旨: テキストリッチ・ネットワーク（TRN）に対するゼロショット推論は、モデルがタスク固有の教師あり信号なしに、テキストの意味論と関係（リレーショナル）構造を統合する必要があるため、依然として挑戦的な最前線です。グラフニューラルネットワークは固定のラベル空間と教師ありの目的関数に依存しますが、近年の大規模言語モデル（LLM）ベースのアプローチは、グラフ文脈を見落とすことが多いか、あるいはより大きなモデルからの蒸留に依存することがあり、一般化が制限されます。私たちは、強化学習のみで訓練するTRN推論の事後学習フレームワークであるTRN-R1-Zeroを提案します。TRN-R1-Zeroは、Neighbour-aware Group Relative Policy Optimisation（近傍を考慮したグループ相対ポリシー最適化）目的関数によって、ベースのLLMを直接最適化します。この目的関数は、新しいマージンゲイン指標に基づいて報酬を動的に調整し、近傍からの信号がどれほど有益（インフォーマティブ）かを測ります。これにより、モデルを関係推論へと効果的に導きます。従来手法とは異なり、TRN-R1-Zeroは、大規模な推論モデルが生成したチェーン・オブ・ソートデータや教師ありのファインチューニングを必要としません。引用（citation）、ハイパーリンク（hyperlink）、ソーシャル（social）、および共同購入（co-purchase）の各TRNベンチマークにわたる大規模な実験により、TRN-R1-Zeroの優位性と頑健性が示されます。さらに、ノードレベルの訓練のみに厳密に依拠することで、TRN-R1-Zeroはエッジレベルおよびグラフレベルのタスクに対するゼロショット推論を達成し、ドメイン間の転移を超えて拡張されています。コードベースは https://github.com/superallen13/TRN-R1-Zero で公開されています。