AdaptFuse：外部化されたベイズ推論による、学習不要（training-free）な逐次選好学習

要旨: 大規模言語モデルは、ユーザとの複数ラウンドの対話を通じて証拠を蓄積することに苦労し、ベイズ推論に整合的な形で信念を更新できません。既存の解決策は、機微なユーザ対話データに対する微調整を必要とするため、プライバシーに配慮した環境での適用が制限されます。本稿では、AdaptFuse を提案します。これは訓練不要の枠組みであり、確率計算を LLM から完全に外部化します。すなわち、記号モジュールが離散的な仮説集合に対するベイズ事後分布を保持し、凍結した LLM はマルチサンプルのディリクレ集約によって意味的推論を提供します。これらの 2 つの信号は、エントロピー適応的フュージョンによって組み合わされます。これは、予測の確信度に応じて各情報源の重みを自動的に調整し、証拠が蓄積されるにつれて LLM から記号的な事後分布への依存を移行します。飛行機のレコメンド、ホテルのレコメンド、ウェブショッピングの 3 つの領域で評価します。対象は Gemma 2 9B、Llama 3 8B、Qwen 2.5 7B です。AdaptFuse はすべてのタスクにおいて、プロンプトのみのベースラインおよび微調整したベイズ教示モデルの両方を一貫して上回り、精度は対話ラウンドを重ねるごとに単調に向上します。これらの結果は、個別最適化されたレコメンドにおいて、原理に基づく推論時アルゴリズムが微調整の代替になり得ること、そして機微なユーザデータを保存したり学習したりする必要がないことを示しています。すべてのコードと資料はオープンソース化します。