「ベンチマークで最高のものは何か」や「パラメータ数がいちばん多いのは何か」ではありません。ここで言いたいのは、あなたの実際の日常的な使い方です。
4090や3090のような環境でローカルに動かして、実際の作業に使うとしたら、選ぶならどのモデルがあなたの定番(go-to)ですか?
ベンチマーク上のリーダーと、量子化によるアーティファクトで出力がゴミになってしまわない、十分なコンテキスト長で実際に使えるものとのギャップが気になります。
能力(できること)と、ハードウェアの現実のバランスにおけるあなたの最適点(sweet spot)はどこですか?
[リンク] [コメント]
