これは、クローズドなAPIのもののほうが技術的には強いとしても、私はそれでもローカルモデルに引き寄せられてしまう理由の1つです。
約4か月、メジャーなクローズドAPIに対して本番のパイプラインを動かしていました。安定していて、テスト済みで、動作も問題ありませんでした。ところがある日から、出力が少しずつズレ始めました。破壊的なエラーが出るわけではなく、ほんの微妙な挙動の変化です。フォーマットがわずかに違う、以前は問題なく対応できていたことへの拒否が増える、特定のタスク種別に対する自信度が静かに低下していく。
変更履歴なし。通知なし。サポートチケットの返信は実質的に「モデルは品質向上のために定期的に更新されます」というもの。特定のチェックポイントに固定する方法はありません。あなたは、サービスがいつでもサービス内容を変更する権利を留保しているサービスにサインアップしたわけです。
私が引っかかるのは、これがどれほど一般化されているかです。もしデータベース提供者がバージョン間でクエリ挙動を黙って変えたら、人々は大騒ぎするはずです。ですがLLMでは、皆がただ肩をすくめて「まあそういうことは起きるよね」と言う。
ローカルモデルはいつも十分に高能力というわけではありませんが、少なくとも6か月前のLlama 3.1は今日も同じモデルです。私は実際の推論スタックをバージョン管理できます。何かが壊れたときに、何が変わったのかを正確に把握できます。
ローカルが常に答えだと言っているわけではありません。いくつかのタスクでは、能力のギャップが大きすぎて無視できません。ですがクローズドAPIの隠れたコストは、あなたが自分で所有していない挙動を「レンタル」していて、しかもいつでもその条件を変えられることです。
同じ壁にぶつかった人はいますか？クローズドなプロバイダにロックされている状態で、本番における挙動の後退（リグレッション）にどう対処していますか？
[link] [comments]
