私は新しいモデルをいろいろ試し続けていますが、通常はモデルそのものよりも、周辺のセットアップのほうが違いを生みます。
バックエンド
フロントエンド
RAGの有無
量子化の選択
GPUオフロード
コンテキスト設定
プロンプト形式
それらをつなぎ合わせているなんとも言えないつぎはぎ
多くのローカル構成はスクリーンショットでは見栄えがよく見えるのに、実際に使ってみると2日後くらいで面倒に感じてしまいます。
今は、ベンチマークでの勝ち負けよりも、人々が実際に使い続けることになっているスタックにもっと関心があります。
あなたは日々何を動かしていますか。そして、セットアップのどの部分が、思った以上に重要だと分かりましたか？
[リンク] [コメント]
