GPT-4 と Claude Sonnet は、いつも最適なモデルとは限りません。生産環境でAIプロダクトを18か月運用した後、フロンティアモデルから小型言語モデルへと私のプロダクト2つを移行しました。その結果は、レイテンシの改善、コストの低下、そして1件では特定のタスクにおける精度の向上でした。ここでは、私が実際に行ったことと、その理由を正確に説明します。

背景：変化をもたらした2つのプロダクト

プロダクト1：AgriIntel — 作物の推奨分類

AgriIntel はAIを使って、受信したセンサー・データのイベントを分類し、適切な推奨（リコメンド）ワークフローへ振り分けます。

分類タスクは次のとおりです：

センサーの読み取り値のセット（土壌水分、気温、栄養レベル、天気予報）を与えられたとき、必要とされる農学的な意思決定の種類を分類します：

• 灌漑（Irrigation）
• 施肥（Fertilization）
• 病害虫管理（Pest management）
• 収穫タイミング（Harvest timing）
• 対応なし（No action）

これは固定された分類体系（タクソノミー）を持つ分類タスクです。GPT-4o はうまくこなしていましたが、分類あたり $0.005、かつ1日15,000回以上の分類があるため、コストが無視できない規模になっていました。

レイテンシもまた、ユーザーがほぼ即時のフィードバックを期待するタスクに対して、800ms〜1.2sでした。

プロダクト2：CanadaCompliance — 規制変更の影響分類

CanadaCompliance.ai は規制の変更を監視し、各変更を次の観点で分類します：

• 影響を受ける業界セクター
• 義務の種類（新しい要件、改正、廃止）
• 緊急度レベル（即時対応、計画期間内、情報提供のみ）

こちらも同様に、高ボリュームの固定タクソノミーによる分類です。

なぜ小型言語モデルが理にかなっていたのか

重要な洞察：

フロンティアモデルは汎用能力を前提に最適化されています。特定の分類タスクに対しては、その能力は過剰であり、コストとレイテンシの両面で支払うことになります。

小型言語モデル（Phi-3、Mistral 7B、Llama 3.2）は：

• はるかに高速（800ms〜2sではなく50〜200ms）
• はるかに安価（コストを10〜100倍低くできる）
• 特定のタスクに対してファインチューニング可能
• データの所在要件がある場合に、プライベートにホスティング可能

AgriIntel のためのファインチューニング手順

ステップ1：トレーニング用データセットを作る

私は GPT-4o を使ってラベル付きデータセットを生成しました。置き換える予定のモデルである GPT-4o を用いて、3,000件の例にラベル付けしました。

これはよくあるパターンです：
強力なモデルを使って、小型モデルのための学習データを生成する。

例：ワークフロー：

• ラベル付きの例を生成
• JSONL のデータセット形式に整形
• トレーニング用パイプラインを準備

ステップ2：モデルをファインチューニングする

私は OpenAI のファインチューニングAPIを使って、GPT-4o-mini をファインチューニングしました。

なぜ GPT-4o-mini なのか？

それはより小さく、より安く、OpenAI API のシンプルさを維持しつつ専門タスクでの性能が高かったからです。

ステップ3：ベンチマーク結果

本番のトラフィックに切り替える前に、両モデルを 500件のデータセットでテストしました：

結果：

GPT-4o：

• 精度：96.2%
• レイテンシ：1100ms
• コスト：1回あたり $0.0048

ファインチューニング済み GPT-4o-mini：

• 精度：97.1%
• レイテンシ：280ms
• コスト：1回あたり $0.00048

改善点：

• コスト削減：90%
• レイテンシ削減：75%
• 精度改善：+0.9%

なぜファインチューニングしたモデルの方がうまくいったのか

GPT-4o は親切で、かつニュアンスも重視しようとするため、場合によっては不要な複雑さが加わります。

ファインチューニングしたモデルは次を学習しました：

• 厳密なタクソノミー
• 期待される出力構造
• ドメイン固有のエッジケース

構造化された分類タスクでは、汎用的な能力よりも精度が勝ちます。

ファインチューニングはモデルに教えます：
あなたの特定のドメインに、知識をどう適用するか。

小型言語モデルを使わない方がよいとき

このアプローチは次の用途には機能しません：

• オープンエンドの生成（レポート、ドキュメント）
• 複雑な推論タスク
• 低ボリュームのワークロード
• タクソノミーが頻繁に変わる場合

コストよりも柔軟性がより重要なら、フロンティアモデルを使ってください。

意思決定のフレームワーク

次の場合はファインチューニング済み SLM を使う：

• 1日あたりの呼び出し量が 1,000 回超
• 固定タクソノミー
• タスク定義が安定している
• レイテンシが重要
• コストが重要
• 学習データがある

次の場合はフロンティアモデルを使う：

• ボリュームが低い
• タスクに推論が必要
• タスクが頻繁に変わる
• 学習データが存在しない
• 出力品質のばらつきがリスクになる

結果サマリー

AgriIntel の改善点：

コスト削減：90%
レイテンシ削減：75%
精度改善：+0.9%

月次の削減額：
$3,100/月（約 $37,000/年）

著者について

Tilak Raj は Brainfy AI の CEO 兼 Founder であり、農業、保険、航空のコンプライアンス、不動産にまたがるバーティカルAI SaaSプロダクトを構築しています。

Webサイト：
https://tilakraj.info

プロジェクト：
https://tilakraj.info/projects