RAGシリーズ（1）：なぜLLMには外部メモリが必要なのか

You: What were our company's Q1 sales figures?
GPT: I'm sorry, my training data only goes up to early 2024 and I have
     no access to your company's internal data.

You: How do I use LangChain's RunnablePassthrough?
GPT: RunnablePassthrough can be enabled by calling .with_config(pass_through=True)...
     (This parameter doesn't exist.)

Raw Documents → Document Loading → Text Splitting → Embedding → Vector Database

User Question → Embedding → Similarity Search → Retrieved Chunks → Prompt Assembly → LLM → Answer

You are a knowledge assistant. Answer the user's question based solely on
the reference content provided below.

Reference content:
[Retrieved chunk 1]
[Retrieved chunk 2]
...

User question: [original question]

返却形式: {"translated": "翻訳されたHTML"}

"""
最小のRAG実装――フレームワークなし、OpenAI APIのみ。
インデックス作成＋クエリという、RAGの完全なパイプラインを示します。
"""

import numpy as np
from openai import OpenAI

client = OpenAI()  # OPENAI_API_KEY の環境変数が必要です
# ─────────────────────────────────────────
# シミュレーションされた知識ベース：5つの技術ドキュメント
# ─────────────────────────────────────────
DOCUMENTS = [
    "LangChainは、LLMアプリケーションを構築するためのフレームワークであり、チェイニング、メモリ管理、ツール統合を提供します。",
    "ベクトルデータベースは、テキストを高次元のベクトルに変換してセマンティック検索を可能にします。一般的な選択肢にはChroma、Qdrant、Weaviate、Pineconeがあります。",
    "RAG（Retrieval-Augmented Generation）は、生成の前に関連するドキュメントを取得することでLLMの幻覚を減らし、回答の正確性を向上させます。",
    "埋め込みモデルはテキストを固定次元のベクトルに変換し、意味的に類似したテキストがベクトル空間上でより近い位置に配置されます。",
    "ファインチューニングは、特定のデータでモデルを再学習し、その振る舞いを調整します――それ",
    "の'は、新しい事実知識を注入するのではなく、出力スタイルを変えるのに最適です。",
]

# ─────────────────────────────────────────
# インデックス作成フェーズ：ドキュメントをベクトルへ変換
# ─────────────────────────────────────────
def build_index(documents: list[str]) -> list[dict]:
    """
    各ドキュメントをベクトルに変換します。
    [{text, embedding}, ...] を返します。
    実運用では、これらをベクトルデータベースに保存します。
    """
    print(f"インデックス作成：{len(documents)} 件のドキュメント...")

    index = []
    for doc in documents:
        response = client.embeddings.create(
            model="text-embedding-3-small",
            input=doc
        )
        embedding = response.data[0].embedding
        index.append({"text": doc, "embedding": embedding})

    print("インデックスの作成に成功しました。")
    return index

def cosine_similarity(vec_a: list[float], vec_b: list[float]) -> float:
    """2つのベクトル間のコサイン類似度です。範囲は-1〜1で、値が大きいほどより類似しています。"""
    a = np.array(vec_a)
    b = np.array(vec_b)
    return float(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)))

返却形式: {"translated": "翻訳されたHTML"}# ─────────────────────────────────────────
# クエリフェーズ：取得 + 生成
# ─────────────────────────────────────────
def retrieve(query: str, index: list[dict], top_k: int = 2) -> list[str]:
    """
    クエリを埋め込み、最も類似した上位top_kのドキュメントを見つけます。
    """
    response = client.embeddings.create(
        model="text-embedding-3-small",
        input=query
    )
    query_embedding = response.data[0].embedding

    scored = []
    for doc in index:
        score = cosine_similarity(query_embedding, doc["embedding"])
        scored.append((score, doc["text"]))

    scored.sort(key=lambda x: x[0], reverse=True)
    return [text for _, text in scored[:top_k]]

def generate(query: str, context_docs: list[str]) -> str:
    """
    取得したドキュメント + ユーザーの質問をプロンプトに組み立ててLLMを呼び出します。
    """
    context = "
".join([f"- {doc}" for doc in context_docs])

    prompt = f"""あなたは知識アシスタントです。下記の参照コンテンツのみに基づいて
ユーザーの質問に回答してください。参照コンテンツに関連する情報が
含まれていない場合は、それを明確に述べてください。何かをでっち上げないでください。

参照コンテンツ:
{context}

ユーザーの質問: {query}

回答:"""

    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": prompt}]
    )
    return response.choices[0].message.content

def rag_query(query: str, index: list[dict]) -> str:
    """完全なRAGクエリのパイプライン。"""
    print(f"
質問: {query}")

返却形式: {"translated": "翻訳されたHTML"}docs = retrieve(query, index, top_k=2)
    print(f"取得した {len(docs)} 個の関連ドキュメント:")
    for i, doc in enumerate(docs, 1):
        print(f"  [{i}] {doc[:60]}...")

    answer = generate(query, docs)
    print(f"\n回答: {answer}")
    return answer

# ─────────────────────────────────────────
# デモを実行
# ─────────────────────────────────────────
if __name__ == "__main__":
    # インデックスを構築（実運用では1回だけ実行すればよい）
    index = build_index(DOCUMENTS)

    # いくつかの質問でテスト
    rag_query("ベクトルデータベースとは何ですか？", index)
    rag_query("RAGとファインチューニングの違いは何ですか？", index)
    rag_query("PythonのGILとは何ですか？", index)  # 知識ベースにない内容 —  отказ（拒否）をテスト

ドキュメント5件をインデックス化...
インデックスを正常に構築しました。

質問: ベクトルデータベースとは何ですか？
関連するドキュメントを2件取得しました:
  [1] ベクトルデータベースは、テキストを高次元に変換してセマンティック検索を可能にする...
  [2] 埋め込みモデルはテキストを固定次元のベクトルに変換し、そこではセマンティ...

回答: ベクトルデータベースとは、テキストを高次元のベクトルに変換してセマンティック検索を可能にするデータベースシステムです。一般的な例としては、Chroma、Qdrant、Weaviate、Pineconeなどがあります...

質問: PythonのGILとは何ですか？
関連するドキュメントを2件取得しました:
  [1] LangChainは、LLMアプリケーションを構築するためのフレームワークです...
  [2] ファインチューニングは、特定のデータに対してモデルを再学習します...

回答: 提供された参照コンテンツに基づくと、PythonのGILについては回答できません — 参照資料には関連情報が含まれていません。