最適なモデルに自動でAIタスクを振り分けて低コスト化するルーターを作った(9,200件投入、$21節約、実コスト$0.14)

Reddit r/artificial / 2026/5/1

💬 オピニオン

要点

  • 著者は、要約・下書き・分類・抽出など日常的な多くのAIタスクは最先端(フロンティア)モデルを必ずしも要せず、8〜70B級の有能なモデルでも十分にこなせると指摘している。
  • Followloopというルーターを開発し、タスクの複雑さを分類して自動的に振り分けることで、単純タスクはCerebras Llama/Groq/Gemini Flash、中程度はGroq 70B/SambaNova、複雑なタスクはClaude Haikuをフォールバックとしてルーティングする仕組みになっている。
  • 著者自身の2週間の利用では、9,200件のタスクを振り分けた結果、$21.24節約でき、実コストは$0.1360となり、Claude Sonnetに比べて平均でトークン当たり約157分の1の安さだったと報告している。
  • FollowloopはMCP(Model Context Protocol)に対応するAI環境であれば連携でき、Claude Desktop、Cursor、Claude Codeなどのほか、MCP対応ツールなら幅広く利用できる。
  • 付加価値として、1,300件以上の安全性審査済みMCPサーバーのライブラリも用意されており、followloop.appは月$5で提供され、ダッシュボードで実コストとClaude Sonnetで全て実行した場合の費用を比較表示する。

これのきっかけになった観察:人々が日常的にAIに使っていることの大半――要約、下書き、分類、抽出など――は、実際にはフロンティアモデルを必要としません。まともな8~70Bモデルなら、それらを同じくらいうまくこなします。とはいえ、多くの人は癖で、すべてをClaudeかChatGPTに通してしまいます。

私はこれを自動的に解決するためにFollowloop(followloop.app)を作りました。各タスクを複雑さで分類し、振り分けます:

- 単純なタスク → Cerebras Llama(2000 TPS、1M tokens/日が無料)、Groq、Gemini Flash

- 中程度のタスク → Groq 70B、SambaNova

- 複雑なタスク → フォールバックとしてClaude Haiku

ダッシュボードでは、Claude Sonnetで全部を実行した場合にかかるはずの金額と、あなたの実際のコストが並んで表示されます。私はこれを2週間、自分自身のAIワークフローで運用しています:9,200件のタスクを振り分け、$21.24節約、実際のコストは$0.1360。平均するとSonnetよりトークンあたり約157倍安いです。

MCP(Model Context Protocol)経由で、あらゆるAIセットアップに対応――Claude Desktop、Cursor、Claude Code、またはMCP対応の何でも。

ボーナス機能として、安全性審査済みの1,300+のMCPサーバーのライブラリも付いています。

月$5(followloop.app

submitted by /u/QueefLatinahOG
[link] [comments]