概要: 本稿では、原理的に、言語グラフ表現がニューラル言語モデリングを補完し、改善し得る範囲を検討します。7つの異なる形式のうちの1つから得た真値グラフと、事前学習済みTransformerから成るアンサンブル設定を用いて検証したところ、全体として、意味的な構成（コンスティチュエンシー）構造が言語モデリング性能に最も有用であり、構文的な構成構造だけでなく、構文的および意味的な依存関係構造をも上回ることが分かりました。さらに、その効果は品詞クラスによって大きく異なります。まとめると、本研究の知見はニューロ・シンボリック言語モデリングにおける有望な傾向を示しており、今後、異なる形式主義によってなされる設計上の選択を定量化する研究を促すものです。
神経記号言語モデリングで言語学的フレームワークが火花散らす—トゥ・トゥ戦
arXiv cs.AI / 2026/4/6
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文では、神経記号（neuro-symbolic）設定において、言語グラフ表現がニューラル言語モデルを補完できるかどうかを、7つの異なる形式主義から得た正解グラフと、事前学習済みTransformerのアンサンブルにより評価する。
- 言語モデリング性能の総合的な向上に最も寄与するのは意味的な構成要素（semantic constituency）構造であり、統語的な構成要素および依存関係に基づく構造を上回ることが分かる。
- その効果は品詞クラスごとに大きく異なっており、あるグラフ形式主義の有用性が言語カテゴリ全体で一様ではないことを示している。
- 著者らは、これらの結果が神経記号言語モデリングに有望な方向性を示すと結論づけ、今後、異なる形式主義や設計上の選択が成果にどう影響するかを体系的に定量化する研究を求めている。
