埋め込みベースのインコンテキスト・プロンプト学習によるLLMのテキストエンコーダ性能向上
arXiv cs.CL / 2026/5/5
📰 ニュースModels & Research
要点
- 本論文では、ICLに伴うトークンオーバーヘッドを減らすために、離散的なテキストデモンストレーションの代わりに連続的な埋め込みを用いるEPICという新しい手法を提案しています。
- EPICはコントラスト学習を活用し、意味的に関連するテキスト対を整列させると同時に、デモンストレーション埋め込みをインコンテキストプロンプトの一部として解釈するようモデルを学習させます。
- EPICで学習したモデルは、推論時にインコンテキストプロンプトを与える場合も与えない場合も、良好な埋め込み性能を維持します。
- MTEBベンチマークでの実験により、EPICが新たなSOTA（最高性能）を達成し、公に利用可能な検索データのみで訓練されたフロンティアモデルを上回ることが示されています。
- アブレーション研究により、提案メカニズムが効果的であり、改善のために必要であることが裏付けられています。
