Lost in the Middleを観察する
Zenn / 2026/4/11
💬 オピニオンSignals & Early TrendsIdeas & Deep AnalysisModels & Research
要点
- 「Lost in the Middle（中間にある情報が埋もれる）」現象を観察し、LLMの参照位置によって出力が影響されうる点に焦点を当てる内容です。
- 入力中の情報配置（先頭・末尾・中間など）が、モデルの注意や推論挙動により差が出るという観点を説明・検証している記事です。
- この現象がプロンプト設計やコンテキスト配置の意思決定に直結するため、実運用では情報の置き場所を意図的に設計する必要があるという示唆があります。
- 観察を通じて、モデルの「どこを見ているか／見落としやすいか」を手がかりに評価・改善するアプローチが示唆されます。
はじめに
LLMに複数のドキュメントを渡したとき、正解を含む文書がコンテキストのどの位置にあるかで回答精度が変わるのかが気になり、観察しました。
この現象はLost in the Middleと呼ばれています。
!
個人の実験のため、参考程度にお願いします。
各条件ともseed固定で1回だけ実行しています。
実験
Liu et al., 2023は、複数のドキュメントをコンテキストに渡したとき、正解文書の位置によって精度が変わることを報告しています。
設定
SQuAD validation setから100問をサンプリングし、各質問に対して10件のドキュメント（正解を含...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →
