カンニング用AIをアップグレードしようとしたら、RAGの限界にぶつかった話

Zenn / 4/18/2026

💬 OpinionDeveloper Stack & InfrastructureTools & Practical Usage

Key Points

  • カンニング用途のAIを「アップグレード」しようとした試みが、RAG(検索拡張生成)の挙動・制約により頭打ちになったことが中心テーマです。
  • 参照データを検索して回答に反映するRAGは、必要情報が検索対象に適切に存在しない/取り出せない場合に性能が頭打ちになるという限界が描写されています。
  • 目的の精度向上を“モデル改良”の発想で進めても、結局は取得・文脈付与(リトリーバ側)の性能や設計がボトルネックになる、という教訓が示されています。
  • その結果、「LLMに機能を足す」よりも「RAGパイプライン全体(検索・チャンク・索引・評価)の見直し」が重要だという方向性が示唆されます。
カンニング用AIをアップグレードしようとしたら、RAGの限界にぶつかった話 はじめに 前回の記事では、STS2の英語wikiをRAG化して「カンニング用AI」を作った。 ただ正直に言うと、完成した時点での実力は**「カード効果を答えてくれる人」レベル**だった。「Ironcladのおすすめデッキ構成を教えて」と聞いても「情報がありません」と返ってくる。ずるするどころか攻略本にも負けている。 今回はデータを増やしてアップグレードを試みた話だ。結論から言うと、データは入った。でもRAGが見つけられなかった。 ステップ1:データソースを探す 前回はwiki.ggからの手動コピーで...

Continue reading this article on the original site.

Read original →