GaLoRA: ノード分類のためのパラメータ効率の高いグラフ認識型LLMs

要旨: 大規模言語モデル（LLMs）の急速な普及と、それらが意味的関係を捉える能力は、幅広い応用分野への採用につながっています。テキスト属性グラフ（TAGs）は、LLMsをグラフニューラルネットワークと組み合わせてノード分類の性能を向上させる代表的な例です。TAGsでは、各ノードにテキスト内容が関連付けられており、このようなグラフはソーシャルネットワーク、引用グラフ、推奨システムなど、さまざまな分野で一般的に見られます。TAGsから効果的に学習することは、グラフの構造表現とテキスト表現の両方をより良く表現し、関連分野での意思決定を改善することにつながります。私たちはGaLoRAを提示します。これは構造情報をLLMsに統合するパラメータ効率の高いフレームワークです。GaLoRAは、TAGsを用いたノード分類タスクにおいて競争力のある性能を示し、全LLMファインチューニングに必要なパラメータ数のわずか0.24%で最先端モデルと同等の性能を発揮します。私たちは、TAGsにおける構造情報と意味情報の組み合わせの有効性を示すべく、3つの実世界データセットで実験を行っています。