要旨: 言語モデルは、テキスト内の財務上のエンティティ間の関係を特定するために用いることができます。しかし、構造化された出力メカニズムは存在するものの、プロンプトベースのパイプラインでは、自己回帰的なデコードに伴うコストが依然として発生し、グラフ構築が下流の最適化から切り離されてしまいます。そこで我々は、標準の言語モデルヘッドを、言語モデルの隠れ状態から直接関係グラフを誘導する関係ヘッドに置き換える\emph{Relational Probing（関係プロービング）}を提案します。この手法は、株価トレンド予測のための下流タスクモデルと同時に学習されます。これにより、意味表現の学習と、誘導される関係グラフの厳密な構造の保持の両立が可能になります。さらに、本手法は言語モデルの出力をテキストの枠を超えさせ、下流モデルのためのタスク固有の形式へと再構成できるようにします。再現性を高めるために、
小規模言語モデル（SLM）
の実運用上の定義も提示します。すなわち、指定されたバッチサイズおよび系列長の設定のもとで、単一の24GB GPU上でエンドツーエンドにファインチューニング可能なモデルです。実験では、上流のSLMとしてQwen3バックボーン（0.6B/1.7B/4B）を用い、共起ベースラインと比較します。Relational Probingは、競争力のある推論コストで一貫した性能向上をもたらします。
Relational Probing：金融予測のためのLM-to-Graph適応
arXiv cs.CL / 2026/4/14
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 本論文は、「Relational Probing」という手法を提案する。これは、言語モデルの通常の出力ヘッドをリレーション（関係）ヘッドに置き換え、隠れ状態から株価トレンド予測のための構造化されたリレーショナルグラフを誘導する。
- 誘導したグラフを下流タスクのモデルと共同で学習することで、プロンプト形式の自己回帰的デコーディングに伴うコストを回避し、かつグラフ構築を下流の最適化に整合させることを目指す。
- この手法は、厳密なグラフ構造を維持しつつ、有用なセマンティック表現も学習するよう設計されており、言語モデルの出力をタスク固有の構造化形式へと実質的に変換する。
- 再現性のため、著者らは「小型言語モデル」を、指定されたバッチサイズおよびシーケンス長の制約の下で、単一の24GB GPU上でエンドツーエンドに微調整可能なモデルとして操作的に定義する。
- Qwen3バックボーン（0.6B/1.7B/4B）を用いた実験では、共起ベースラインに対して、競争力のある推論コストで一貫した改善が示される。
