LLMエージェントの 振る舞い監査を3モデルで試した — GPT-4o-mini / Claude Haiku / Gemini
Zenn / 2026/4/22
💬 オピニオンSignals & Early TrendsTools & Practical UsageModels & Research
要点
- GPT-4o-mini、Claude Haiku、Geminiの3モデルを用いて、LLMエージェントの「振る舞い（挙動）」を監査する試行を行った。
- 同一/類似の監査観点でモデル間比較することで、エージェントの振る舞いの違いを観測・整理している。
- 監査（評価）を実運用に近い形で回すことを目的に、どのモデルがどのように挙動しやすいかを検証している。
- モデル選定やエージェント導入時に、挙動の信頼性を確認するための手がかりになる内容だ。
LLMエージェントは動いているように見えて壊れていることがある。トレースを開けば「ツールが呼ばれた」「応答が返った」は分かる。しかしその振る舞いが失敗かどうかは、トレースだけでは判断できない。
3つのモデル（GPT-4o-mini、Claude Haiku 4.5、Gemini 2.5 Flash）に同じカスタマーサービスシナリオを投げて、決定論的に診断した実験の記録。
実験設計
対象はカスタマーサービスエージェント。LangGraphで構築し、ツールアクセスを持たせた状態で6つのシナリオを実行した。
#
シナリオ
テストする振る舞い
S1
注文ステータス確認
正常系 ...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →
