人々が現在、無自覚のうちにローカルモデルで直面している主な問題は、主にハーネスと、モデルのチャットテンプレートやプロンプト構築に関するいくつかの込み入った点に関わっています。場合によっては、純粋な推論のバグさえあります。クライアントでタスクを入力してから実際の結果に至るまでには、いまのところ脆いだけでなく、別々の当事者によって開発されているコンポーネントの長い連鎖があります。そのため、スタック全体を統合するのが難しく、さらに、いま自分が目にしているものが、その連鎖のどこかにおいて、非常に高い確率で、微妙な形でまだ壊れている可能性があることを念頭に置いておく必要があります。

— Georgi Gerganov, コーディングエージェントとうまく連携できるローカルモデルを見つけるのが難しい理由を説明しているところ