Inter-Layer Structural Encoders による LLM の予測改善

Abstract

大規模言語モデル（LLM）における標準的な実践は、最終層のトークン表現に基づいて予測を行うことです。しかし、近年の研究では、中間層が実質的な情報を符号化しており、最終層の表現だけでは得られないタスクに関連した特徴を含んでいる可能性が示されています。重要なのは、異なるタスクに対しては、最適となる層が異なり得ることも示されている点です。本研究では、LLM内部の層表現をすべてまとめて用いて、1つの有効な表現を学習するための強力な構造的アプローチであるInter-Layer Structural Encoders（ILSE）を提案します。ILSEの中核はCayley-Encoderであり、展開（expander）Cayleyグラフを活用して層間の情報伝播を効率化する、数学的に裏付けられた幾何学的エンコーダです。我々は、14 millionから8 billionパラメータまでの9種類の事前学習済みLLMを用いて、13の分類および意味的類似度タスクにわたってILSEを評価します。ILSEは一貫してベースラインおよび既存手法を上回り、精度で最大44%の改善、類似度指標で25%の改善を達成します。さらに、ILSEは少数ショットの設定においてデータ効率が高く、小さなLLMでも、実質的により大規模なモデルに匹敵する性能を実現できることを示します。