SynthWorlds：言語モデルにおける推論と知識を分離するための制御された並行世界

要約: 言語モデル（LM）の推論能力を評価することは、その膨大なパラメトリック世界知識によって複雑化されています。ベンチマークの性能はしばしば実際の推論よりも事実の記憶再現を反映します。既存のデータセットや手法（例えば、時間的フィルタリング、言い換え、敵対的置換など）では、この二者を明確に分離することができません。私たちはSynthWorldsを提案します。これはタスクの推論複雑性を事実知識から分離するフレームワークです。SynthWorldsでは、二つの世界を表す並行コーパスを構築します。ひとつは実世界にマッピングされパラメトリック知識を利用可能とし、もうひとつは合成世界にマッピングされそのような知識が意味を持たない構造的に同一の世界です。これらのコーパス上に、多段階質問応答およびページナビゲーションという二つのミラータスクを設計し、両世界間で推論難易度を等しく保ちます。パラメトリック知識のみ利用（例えばクローズドブックQA）および知識強化（例えば検索強化）LM設定での実験は、パラメトリック世界知識の記憶による性能向上、すなわち知識優位のギャップが継続的に存在することを明らかにしました。知識獲得と統合メカニズムはこのギャップを縮小するものの完全に解消せず、システム改良の余地を示しています。SynthWorldsは完全自動かつスケーラブルであり、これまで困難であったLMの評価を管理された環境で実現し、推論能力と記憶の比較を正確かつ検証可能にします。