凍結済みLLMの誘導：オンラインプロンプトルーティングによる適応的社会的整合

要約: 大規模言語モデル（LLMs）は通常、ポストトレーニング整合性（例：RLHFやDPO）によって管理され、展開および推論時にはほぼ静的なポリシーを生み出します。しかし、現実世界の安全性は全ライフサイクルの問題です：静的な防御は進化するジャイルブレイク行動に対して劣化し、固定ウェイトは多元的で時間変動する安全規範に適応できません。これにより、高価な再訓練を要さず挙動を導く推論時ガバナンスが動機づけられます。 この課題に対処するため、システム・プロンプトのルーティングによる適応的な社会的整合のための統一フレームワークとして、Consensus Clustering LinUCB Bandit（CCLUB）を導入します。CCLUBは保守的なコンセンサス・クラスタリング機構を用います：有用性グラフと安全性グラフの類似性の交差部分のデータのみをプールし、意味的に近接していてもリスクが乖離する文脈における安全でない一般化を効果的に防ぎます。我々の理論分析はサブ線形のレグレット保証を導出し、CCLUBのほぼ最適な性能を示しています。広範な実験により、CCLUBが強力なベースラインを上回ることを検証し、累積報酬を10.98%改善し、平均的なサブ最適性ギャップを14.42%低減することを示しています。