イン・コンテキスト学習（ICL）とインストラクション・チューニングの比較：小規模かつ多言語言語モデルの事例
arXiv cs.CL / 2026/5/1
💬 オピニオンIdeas & Deep AnalysisModels & Research
要点
- 本論文は、インストラクション・チューニング（収集済みの指示データセットによる教師あり微調整、必要に応じて人の嗜好によるアラインメントを追加）と、イン・コンテキスト学習（ICL）によるベースLLMの「指示追従」学習の代替可能性を比較しています。
- 著者らは、特に資源負担が大きくなりがちな非英語言語や、モデル規模をまたぐ状況を対象に、小規模かつ多言語言語モデルでICLが指示追従をどれだけ実現できるかを評価しています。
- その結果、非英語およびモデル規模をまたぐ条件では、ICLによる指示追従性能が低下することが示されています。
- 一方で、ベースモデルにDirect Preference Optimization（DPO）を適用するとベースライン結果が部分的に改善することを示しますが、現在のICL指示追従を大規模な英語中心モデルの水準に近づけるには、別の手法が必要だと述べています。
- 総じて、ICLだけでは小規模・多言語での頑健な指示追従を十分に実現できない可能性があり、今後の手法に残されたギャップが示唆されています。
