LLM向け情報検索：デノイジング・ファーストの視点

要旨: 現代の情報検索（IR）は、もはや主に人間によって消費されるものではなく、検索拡張生成（RAG）やエージェンティック検索を通じて、大規模言語モデル（LLM）によってますます消費されるようになってきている。人間の利用者とは異なり、LLMは限られた注意予算によって制約されており、さらにノイズに対して特有の脆弱性を持つ。誤解を招く、あるいは無関係な情報は、もはや単なる迷惑ではなく、幻覚や推論の失敗の直接的な原因となる。本パースペクティブ論文では、コンテキストウィンドウ内での、ノイズ除去によって有用なエビデンス密度を最大化し、かつ検証可能性を高めることが、情報アクセスの全パイプラインにおいて主要なボトルネックになりつつあると主張する。このパラダイムシフトを、IRの課題を4段階に分けた枠組みによって概念化する。すなわち、到達不能から発見不能へ、次にミスアラインへ、そして最後に検証不能へ至る段階である。さらに、索引付け、検索、コンテキスト設計、検証、エージェンティックなワークフローにまたがる、信号対雑音の最適化手法について、パイプラインに整理されたタクソノミー（分類体系）を提示する。また、生涯にわたるアシスタント、コーディングエージェント、ディープリサーチ、マルチモーダル理解のように、検索への依存が強い領域における情報のノイズ除去に関する研究についても紹介する。