知識サブスペースとタスクサブスペースを分離し、合成可能なパラメトリック・リトリーバル拡張生成を実現する

要旨: パラメトリック・リトリーバル拡張生成（PRAG）は、外部ドキュメントを軽量なパラメータ・モジュールへエンコードし、推論時にそれらを取得して結合できるようにすることで、インコンテキストのリトリーバル拡張に代わる有望な選択肢を提供します。とはいえ、その可能性にもかかわらず、多くのPRAG実装では、タスクに教師ありの目的を課してドキュメント・アダプタを学習しており、その結果として各アダプタがドキュメント固有の事実と、再利用可能なタスク解決行動の両方を符号化してしまう可能性があります。このような絡み合いは、アダプタの合成（composition）の信頼性を低下させうるものです。すなわち、推論時に複数のアダプタを結合すると、それらの重なり合うタスク行動がドキュメント固有の更新と共に蓄積し、その結果、結合後のアダプタが意図したドキュメント知識に対して不安定になり、焦点がぼける可能性があります。この問題を調べるために、私たちは、再利用可能なタスク行動をドキュメント固有の知識アダプタから切り離すアダプタ学習の枠組みである直交部分空間分解（OSD）を提案します。具体的には、まず、再利用可能なタスク行動を捉えるためのTask LoRAを学習し、その後、直交な部分空間においてドキュメント固有の知識を符号化するためのdocument LoRAsを学習します。この設定により、タスクとドキュメントのLoRA更新を直交化することが、多ドキュメントPRAGにおけるアダプタ合成にどのように影響するかを検証するための、制御された手段が得られます。複数の知識集約的タスクとモデル規模にまたがる実験から、この直交化戦略は、特に複数のドキュメント・アダプタを統合する場合において、パラメトリックRAGの合成的ロバスト性を改善しうることが示唆されます。