長文コンテキストをLLMが読んでくれない…を減らす — “Lost in the Middle”論文から学ぶプロンプトと分割設計

はじめに ルミナイR&Dチームの栗原です。 「せっかく長いコンテキストを全部突っ込んだのに、モデルが肝心なところを読んでくれていない気がする……」 RAG や長文プロンプトを触っていると、こんな違和感を覚える場面が出てきます。 ちゃんと書いてあるのに、真ん中あたりの情報だけ無視されたような回答が返ってくる 重要な注意書きを末尾に書いたら機能し始めた 長文をそのまま貼ったら精度がむしろ落ちた こうした現象を、体系的に調べたのが Nelson F. Liu らの “Lost in the Middle: How Language Models Use Long Context...