KoCo：知識座標に基づく条件付けによる言語モデルの事前学習

Abstract

標準的な大規模言語モデル（LLM）の事前学習では、通常、コーパスを平坦化されたトークン列として扱いがちで、人間が情報を文脈づける際に自然に頼っている現実世界の文脈を見落としやすい。本論文では、このギャップを埋めるために、Knowledge Coordinate Conditioning（KoCo）を提案する。これは、すべての文書を三次元の意味座標へと写像する、単純な手法である。事前学習の際にこれらの座標をテキストの接頭辞として付加することで、現実世界の知識構造の中で文書を学習するための、明示的な文脈認識をモデルに備えさせることを目指す。実験結果は、KoCoが10の下流タスクすべてにおいて性能を大幅に向上させること、また事前学習の収束を約30\%加速することを示している。さらに、我々の分析から、知識座標を明示的にモデリングすることで、モデルが安定した事実とノイズを区別できるようになり、生成出力における幻覚を効果的に低減できることが分かる。