自己知識の再表現：内在的な知識を用いてタスクに適応する完全ローカル手法

Abstract

次トークン予測（NTP）パラダイムは、大規模言語モデル（LLM）がその内在的な知識を表現できるようにしますが、その逐次的な性質が、専門的で非生成的なタスクにおける性能を制約します。私たちは、この性能ボトルネックを、知識獲得の不備ではなく、LLMの知識表現メカニズムに起因すると考えます。そこで、この課題に対処するために、タスク非依存の新しい適応手法であるSelf-Knowledge Re-expression（SKR）を提案します。SKRは、LLMの出力を、汎用的なトークン生成から、高い効率をもつタスク固有の表現へと変換します。SKRは完全にローカルな手法であり、未注釈データのみを用いて、人間による監督もモデルの蒸留も必要としません。大規模な金融ドキュメントデータセットでの実験により、大幅な改善が示されています。情報検索タスクにおいてRecall@1が40%以上向上し、物体検出のレイテンシーは76%以上削減され、異常検知のAUPRCは33%以上増加しました。MMDocRAGデータセットでの結果は、主要な検索モデルのそれを少なくとも12.6%上回ります。