広告

ORCHESTRATE v3.1 UAT — AIエージェントが自社のマーケティング・プラットフォームを自らテストした方法

Dev.to / 2026/4/1

💬 オピニオンDeveloper Stack & InfrastructureIdeas & Deep AnalysisTools & Practical Usage

要点

  • ORCHESTRATE v3.1は、人間のテスターではなく、マーケティング・プラットフォームを構築したのと同じAIエージェントによって実行される、完全なユーザー受入テスト(UAT)とともに出荷されました。
  • UATでは、エンドツーエンドのマルチチャネル配信をカバーしました。具体的には、Dev.toでのブログ作成、Redditのトレンドトピック発見、実際のPrintifyモックアップを用いたターゲット別のLinkedInプロモーション、そして完全にAIが制作したYouTube動画の生成・公開です。
  • ORCHESTRATEは、単一のMCP(Model Context Protocol)サーバーを介して、10のケイパビリティ領域にまたがる100以上のツールを統括し、説明されているスタックはNode.js/Reactに加えて、メディア生成にPiper TTSとffmpegを用いています。
  • チームは、AIエージェントは体系的で基準に基づいたテストや、徹底したドキュメント作成が得意である一方で、人間よりも予期しないエッジケースを見つけにくいことがわかりました。
  • 提案しているテスト手法は、AIによる回帰テスト/UATの自動化に、人間の探索的テストを組み合わせて、カバレッジと堅牢性を高めることです。

ORCHESTRATE v3.1 UAT — AIエージェントが自社のマーケティング基盤をテストした方法

ORCHESTRATEマーケティングプラットフォームのv3.1をリリースしたばかりで、完全なユーザー受け入れテスト(UAT)を実施しました。人間のテスターではなく、開発したのと同じAIエージェントによってです。

ORCHESTRATEとは?

ORCHESTRATEは、LinkedInページ、Reddit投稿、Dev.toブログ、YouTubeへのアップロード、Printifyのマーチを、単一のMCP(Model Context Protocol)サーバーから一元管理するマルチチャネルのコンテンツ公開プラットフォームです。10のケイパビリティ領域に対して100以上のツールを実行し、厳格なアジャイル手法に従うAIエージェントによってオーケストレーションされます。

UATプロセス

スプリント13では、プラットフォームを存分に試しました:

  1. ブログ公開 — MCPツール経由でDev.toに記事を作成し公開
  2. トレンドトピックの発見 — RedditをスキャンしてトレンドのAI/自動化トピックを特定
  3. プロモーション — Printifyストアから実在のプロダクトモックアップを取り込み、ターゲットを絞ったLinkedIn投稿を作成
  4. 動画制作 — AIだけでナレーション付きYouTube動画を生成:スクリプト生成、Piper TTSナレーション、ffmpegによる動画の組み立て、YouTubeへのアップロード
  5. クロスプラットフォーム配信 — 同じコンテンツをLinkedIn、Reddit、Dev.to、YouTubeに同時公開

テックスタック

  • バックエンド:Node.js REST API(ポート3847)+MCP HTTPサーバー(ポート3848)
  • フロントエンド:React + Vite + Tailwind
  • AIオーケストレーション:100以上の登録ツールを備えたMCP(Model Context Protocol)
  • 音声:Piper TTSサイドカー(ポート8500)によるナレーション
  • 動画:動画の組み立てにDocker上のffmpegを使用
  • マーチ:商品管理のためのPrintify API連携
  • インフラ:Docker Compose、単一コンテナでのデプロイ

UAT動画を見る

UATの体験全体をナレーション付きのYouTube動画として録画しました:

この動画は、スクリプト生成からTTSナレーション、動画の組み立て、YouTubeへのアップロードまで、AIエージェントだけで制作されました。

私たちが学んだこと

AIエージェントでUATを実行すると、興味深いことが分かりました。エージェントは、場当たり的な探索よりも体系的なテストが得意なのです。受け入れ基準を正確に守り、すべてのエンドポイントに到達し、すべてを文書化します。しかし、人間のテスターがそうするようにエッジケースに引っかかることはありません。

では解決策は?AIによる体系的なUATと、人間の探索的テストを組み合わせます。エージェントには回帰(リグレッション)スイートを任せ、人間は想定外のものに集中させます。

自分でも試してみよう

ORCHESTRATEプラットフォームは、オープンなプロトコル(MCP)と標準的なツールに基づいて構築されています。AIを活用したコンテンツのパイプラインを作っているなら、重要な洞察はこうです:AIツールを、CI/CDパイプラインにおける“その場しのぎのヘルパー”ではなく“第一級の市民”として扱うこと。

マーチを購入iamhitl.com
旅の記録をフォローDev.toのI Am HITL

広告