エキスパート・ペルソナはLLMの整合性を向上させるが精度を損なう：PRISMによる意図ベースのペルソナ・ルーティングのブートストラッピング

要旨: ペルソナ・プロンプティングは、LLMの生成をドメイン固有のトーンとパターンへと誘導することができる。この挙動は、多様な相互作用が重要で、人間を中心としたタスクには高レベルの人間との整合性が求められるマルチエージェントシステムのユースケースを可能にする。
先行研究はその有用性について賛否が分かれており、特定のドメインで専門家ペルソナを用いると性能が向上するという報告や、合成データ生成におけるデータの多様性への寄与がある一方で、一般的な有用性にはほぼ影響がない、あるいは負の影響があるとする研究もある。
LLMペルソナの利点を最大限に活用し、その有害性を回避するには、メカニズムをより包括的に検証することが極めて重要である。
本研究では、モデル最適化、タスクの種類、プロンプトの長さ、配置が、指示調整済みおよび推論型のLLMにおける専門家ペルソナの有効性にどのように影響するかを調べ、専門家ペルソナが失敗・成功する条件について洞察を提供する。
我々の知見に基づき、専門家ペルソナの利点を完全に活用するためのパイプラインを開発した。名称はPRISM（Intent-based Self-Modelingによるペルソナ・ルーティング）であり、外部データ・モデル・知識を一切必要とせず、ブートストラップ過程を通じて意図条件付きの専門家ペルソナをゲート付きLoRAアダプターへ自己蒸留する。
PRISMは、生成タスクにおける人間の嗜好と安全性の整合性を高めるとともに、識別タスクにおける精度をすべてのモデルで維持し、最小限のメモリと計算オーバーヘッドで動作する。