本論文は、ICLRにおける「Workshop on Memory for LLM-Based Agentic Systems」で採択された。
言語モデルは一貫して、より多くの世界知識をパラメータに圧縮する方向に成長してきた。しかし、事前学習でモデルに埋め込める知識には、パラメータサイズによる上限がある。特に小規模言語モデル(SLM)の能力は限られているため、事実に反する生成が起きやすい。この問題はしばしば、SLMに外部ソースへのアクセスを与えることで緩和される。たとえば、大きなモデルへの問い合わせ、文書、データベースに照会できるようにすることだ。この設定のもとで、私たちは——


