LLM搭載エージェントを当社のNode.js/Express APIに統合して学んだこと

// routes/summarize.js
const express = require('express');
const { OpenAI } = require('openai'); // 公式OpenAI SDK

const router = express.Router();
const openai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });

router.post('/summarize', async (req, res) => {
  try {
    const { text } = req.body;
    if (!text) return res.status(400).json({ error: 'Missing text' });

    // 要約プロンプトでGPT-4モデルを呼び出す
    const completion = await openai.chat.completions.create({
      messages: [{ role: 'user', content: `Summarize this: ${text}` }],
      model: 'gpt-4',
      max_tokens: 200,
      temperature: 0.5,
    });

    // 要約をクライアントへ返す
    res.json({ summary: completion.choices[0].message.content });
  } catch (err) {
    // デバッグのためにエラーをログ出力する
    console.error(err);
    res.status(500).json({ error: 'Summarization failed' });
  }
});

module.exports = router;

// services/agent.js
const { OpenAI } = require('openai');
const axios = require('axios');

const openai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });

// エージェントが呼び出せるツール（関数）を定義する
const functions = [
  {
    name: 'lookupUser',
    description: 'メールアドレスでシステム内のユーザーを検索します',
    parameters: {
      type: 'object',
      properties: {
        email: { type: 'string', description: 'ユーザーのメールアドレス' },
      },
      required: ['email'],
    },
  },
  {
    name: 'sendEmail',
    description: 'ユーザーにメールを送信します',
    parameters: {
      type: 'object',
      properties: {
        to: { type: 'string', description: '受信者のメールアドレス' },
        subject: { type: 'string' },
        body: { type: 'string' },
      },
      required: ['to', 'subject', 'body'],
    },
  },
];

// 関数名を実際の実装にマッピングする
const tools = {
  lookupUser: async ({ email }) => {
    // 内部APIを呼び出す（データベースを直接問い合わせてもよい）
    const resp = await axios.post('http://localhost:3000/internal/lookup-user', { email });
    return resp.data;
  },
  sendEmail: async ({ to, subject, body }) => {
    // SMTPサービス、またはメールのマイクロサービスを呼び出す
    await axios.post('http://localhost:3000/internal/send-email', { to, subject, body });
    return { status: 'sent'};
  },
};async function runAgent(messages) {
  // 手順 1: LLM に、呼び出したい関数を何にするかを尋ねる
  const completion = await openai.chat.completions.create({
    model: 'gpt-4o',
    messages,
    functions,
  });

  const functionCall = completion.choices[0].message.function_call;
  if (!functionCall) {
    // 呼び出す関数がないので、メッセージをそのまま返す
    return { result: completion.choices[0].message.content };
  }

  // 手順 2: 対応付けられた関数を呼び出す
  const fn = tools[functionCall.name];
  if (!fn) throw new Error('不明な関数: ' + functionCall.name);

  // 関数の引数は常に OpenAI からの JSON 文字列
  const args = JSON.parse(functionCall.arguments);

  const fnResult = await fn(args);

  // 手順 3: 関数結果を LLM に渡して次のステップへ進める
  messages.push({
    role: 'function',
    name: functionCall.name,
    content: JSON.stringify(fnResult),
  });

  // 手順 4: 会話を続行する（複数ステップ繰り返すことができる）
  const finalCompletion = await openai.chat.completions.create({
    model: 'gpt-4o',
    messages,
    functions,
  });

  return { result: finalCompletion.choices[0].message.content };
}

module.exports = { runAgent };

// routes/streamAgent.js
const express = require('express');
const { OpenAI } = require('openai');
const router = express.Router();

const openai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });

返却形式: {"translated": "翻訳されたHTML"}router.post('/agent/stream', async (req, res) => {
  try {
    const { prompt } = req.body;
    if (!prompt) return res.status(400).json({ error: 'プロンプトがありません' });

    // Expressにこれがイベントストリームであることを伝える
    res.setHeader('Content-Type', 'text/event-stream');
    res.setHeader('Cache-Control', 'no-cache');

    // OpenAI SDKでストリームを開始する
    const stream = await openai.chat.completions.create({
      model: 'gpt-4o',
      messages: [{ role: 'user', content: prompt }],
      stream: true,
    });

    // 到着したトークンをそのままパイプする
    for await (const chunk of stream) {
      // それぞれのチャンクをSSEイベントとして送信する（1トークンずつ）
      res.write(`data: ${chunk.choices[0]?.delta?.content || ''}

`);
    }

    // 完了したらストリームを終了する
    res.end();
  } catch (err) {
    console.error('ストリームのエラー', err);
    // ストリーミングに失敗した場合は接続を閉じる
    res.end();
  }
});

module.exports = router;