SpecSteer: 局所コンテキストとグローバル推論のシナジーによる効率的なパーソナライズ生成

要約：個別化された知能を実現するには、本質的なジレンマに直面する。ユーザーの履歴を中央集権的な大規模言語モデルへ送信することはプライバシー上の懸念を生む一方、デバイス上の小型言語モデルは高品質な生成に必要な推論能力を欠いている。私たちの予備的研究は、純粋に局所的な強化だけではこのギャップを信頼性高く埋めるには不十分であることを示している。したがって、私たちは SpecSteer を提案する。これはプライベートなデバイス上の文脈とクラウド規模の推論を相乗させる非対称の協調推論フレームワークである。SpecSteer は協力をベイズ的知識融合として捉え、推測的デコードを分散アライメント・プロトコルとして再利用し、Draft--Verify--Recover パイプラインを生み出す：デバイス上のモデルが個別化されたシーケンスをドラフトする；クラウドは比率ベースのメカニズムで検証を行い、推論検証をプライベート文脈から切り離し、生のユーザー文脈にアクセスすることなく論理的欠陥をフィルタリングする；拒否された場合には、補正中にローカルの意図を注入するステアリングリカバリが行われる。実験は、SpecSteer が推論ギャップを確実に埋め、優れた個別化生成性能を達成するとともに、標準的なベースラインよりも2.36倍の速度改善を実現することを示している。