小規模言語モデルは取得した情報を活用できるのか？モデル規模別の取得利用に関する実証研究

要旨: Retrieval augmented generation（RAG）は言語モデルの事実的正確性を向上させるために広く導入されているが、7Bパラメータ以下の小型モデルが取得した情報を効果的に活用できるかは依然として不明である。これを検証するため、360M から 8B までの5つのモデルサイズを、SmolLM2、Qwen2.5、Llama 3.1 の3つのアーキテクチャファミリにまたがって、4つの取得条件（取得なし、BM25、E5 Large v2 を用いた密な取得、オラクル取得＝取得されたパッセージが回答を必ず含むことが保証される条件）で評価した。パラメトリックな知識分割を導入し、モデルがすでに回答できる質問と外部知識を要する質問を分離することにより、活用失敗を取得品質の失敗から分離できるようにした。3つの主要な結果を見出した。第一に、オラクル取得を用いても、7Bまたはそれ以下のサイズのモデルは自力で答えられない質問について正しい回答を85〜100％の頻度で抽出できず、根本的な活用ボトルネックを示している。第二に、取得コンテキストを追加すると、モデルが以前に知っていた回答の42〜100％が失われることが多く、文脈の存在自体が注意を散らす効果を引き起こすことを示唆している。第三に、2588件のオラクル失敗のエラー分析は、主要な失敗モードが関連性のない生成であり、提供された文脈を完全に無視するという結果を示しており、これは複数のプロンプトテンプレートおよび取得方法をまたいで一貫している。これらのパターンは、複数のプロンプトテンプレートと取得方法の下でも成り立つ。結果は、7B未満のパラメータを持つモデルにおいて、RAG の主な制限は文脈活用であり、取得品質ではないこと、そしてこの規模で RAG を展開すると標準的な評価条件下で純粋にマイナスのトレードオフになる可能性がある、ということを示唆している。