プロダクションでのAIエージェントを支える実際の技術スタック — MCP、Kubernetes、そして誰も教えてくれないこと

LLM ──→ ハードコードされたツールA（カスタムRESTクライアント）
    ──→ ハードコードされたツールB（カスタムgRPCラッパー）
    ──→ ハードコードされたツールC（カスタムDBコネクタ）
    ──→ ハードコードされたツールD（カスタムファイルリーダー）

LLM ──→ MCPクライアント ──→ MCPサーバー: データベース
                   ──→ MCPサーバー: 検索
                   ──→ MCPサーバー: Kubernetes
                   ──→ MCPサーバー: Slack
                   ──→ MCPサーバー: （なんでも）

import { McpServer } from "@modelcontextprotocol/sdk/server/mcp.js";
import { StdioServerTransport } from "@modelcontextprotocol/sdk/server/stdio.js";
import * as k8s from "@kubernetes/client-node";

const server = new McpServer({
  name: "k8s-health",
  version: "1.0.0",
});

server.tool(
  "check_pod_status",
  "名前空間内のPodのヘルス状態を確認します",
  { namespace: { type: "string", description: "Kubernetesの名前空間" } },
  async ({ namespace }) => {
    const kc = new k8s.KubeConfig();
    kc.loadFromDefault();
    const k8sApi = kc.makeApiClient(k8s.CoreV1Api);

    const res = await k8sApi.listNamespacedPod({ namespace });
    const unhealthy = res.items.filter(
      (p) => p.status?.phase !== "Running" && p.status?.phase !== "Succeeded"
    );

返却形式: {"translated": "翻訳されたHTML"}return {
      content: [
        {
          type: "text",
          text: unhealthy.length === 0
            ? `名前空間 ${namespace} のポッドはすべて正常です。`
            : ` ${unhealthy.length} 個の異常なポッドが見つかりました:
` +
              unhealthy
                .map((p) => `- ${p.metadata?.name}: ${p.status?.phase}`)
                .join("
"),
        },
      ],
    };
  }
);

const transport = new StdioServerTransport();
await server.connect(transport);

┌──────────────────────────────────────────────────────┐
│              Kubernetes クラスタ                       │
│                                                      │
│  ┌──────────────────────────────────────────────┐    │
│  │       入口 / Gateway API                  │    │
│  │  推論ゲートウェイ · モデルを考慮したルーティング     │    │
│  └───────────────────┬──────────────────────────┘    │
│                      │                               │
│  ┌─────────────┐ ┌───┴──────────┐ ┌──────────────┐  │
│  │ エージェント API   │─│MCP サーバー    │ │ 主な指標  │  │
│  │ FastAPI +   │ │プール          │ │ TTFT <500ms  │  │
│  │ LangGraph   │ │ mcp-postgres │ │ GPU >70%     │  │
│  └──────┬──────┘ │ mcp-search   │ │ ツール >99.5%  │  │
│         │        │ mcp-k8s      │ │ コスト -39%    │  │
│         │        └──────┬───────┘ └──────────────┘  │
│  ┌──────┴──────┐ ┌──────┴───────┐                    │
│  │ LLM サーバー  │ │ ベクタDB       │                    │
│  │ vLLM + DRA  │ │ Weaviate    │                    │
│  │ Llama-70B   │ │ ハイブリッド検索 │                    │
│  └─────────────┘ └─────────────┘                    │
│                                                      │
│  ┌──────────────────────────────────────────────┐    │
│  │ 観測可能性: OTel → Prometheus → Grafana   │    │
│  └──────────────────────────────────────────────┘    │
└──────────────────────────────────────────────────────┘

apiVersion: resource.k8s.io/v1beta2
kind: ResourceClaim
metadata:
  name: llm-inference-gpu
  namespace: ai-agents
spec:
  devices:
    requests:
    - name: gpu
      deviceClassName: gpu.nvidia.com
      selectors:
      - cel:
          expression: >
            device.attributes["gpu.nvidia.com"].memory >= 24000 &&
            device.attributes["gpu.nvidia.com"].productName.startsWith("A")
    constraints:
    - requests: ["gpu"]
      matchAttribute: "gpu.nvidia.com/numa-node"

apiVersion: apps/v1
kind: Deployment
metadata:
  name: vllm-server
  namespace: ai-agents
spec:
  replicas: 2
  selector:
    matchLabels:
      app: vllm-server
  template:
    metadata:
      labels:
        app: vllm-server
    spec:
      containers:
      - name: vllm
        image: vllm/vllm-openai:v0.7.3
        args:
        - "--model=meta-llama/Llama-3.3-70B-Instruct"
        - "--tensor-parallel-size=1"
        - "--max-model-len=8192"
        - "--enforce-eager"
        ports:
        - containerPort: 8000
        resources:
          claims:
          - name: llm-gpu
      resourceClaims:
      - name: llm-gpu
        resourceClaimTemplateName: llm-inference-gpu

apiVersion: inference.networking.x-k8s.io/v1alpha2
kind: InferencePool
metadata:
  name: llm-pool
  namespace: ai-agents
spec:
  targetPortNumber: 8000
  selector:
    matchLabels:
      app: vllm-server
---
apiVersion: inference.networking.x-k8s.io/v1alpha2
kind: InferenceModel
metadata:
  name: agent-model
  namespace: ai-agents
spec:
  modelName: "agent-llama-70b"
  targetModels:
  - name: "meta-llama/Llama-3.3-70B-Instruct"
    weight: 100
  poolRef:
    name: llm-pool

apiVersion: apps/v1
kind: Deployment
metadata:
  name: mcp-postgres
  namespace: ai-agents
  labels:
    mcp-server: "true"
    mcp-tool: "database"
spec:
  replicas: 2
  selector:
    matchLabels:
      app: mcp-postgres
  template:
    metadata:
      labels:
        app: mcp-postgres
      annotations:
        prometheus.io/scrape: "true"
        prometheus.io/port: "9090"
    spec:
      serviceAccountName: mcp-postgres-sa
      containers:
      - name:

# AI指標用のOpenTelemetry Collector設定
receivers:
  otlp:
    protocols:
      grpc:
        endpoint: 0.0.0.0:4317

processors:
  batch:
    timeout: 5s

exporters:
  prometheus:
    endpoint: 0.0.0.0:8889
    namespace: ai_agent

service:
  pipelines:
    metrics:
      receivers: [otlp]
      processors: [batch]
      exporters: [prometheus]

# Alert: Agent tool calls failing above threshold
(
  sum(rate(mcp_tool_call_errors_total[5m])) by (tool_name)
  /
  sum(rate(mcp_tool_call_total[5m])) by (tool_name)
) > 0.05

from circuitbreaker import circuit

返却形式: {"translated": "翻訳されたHTML"}@circuit(failure_threshold=3, recovery_timeout=30)
async def call_mcp_tool(server: str, tool: str, params: dict):
    async with mcp_client.connect(server) as client:
        result = await client.call_tool(tool, params)
        return result