OpenCodeで、さまざまな量子化（quants）とコーディング課題に対して、新しいモデルを一晩中ずっと動かしていました。oMLXとLM Studioを使用しました。精密なタスク向けの推奨設定（temp 0.6、top-k 20など）と、OpenCodeエージェントを使用しています。現時点での私の所見は、3.5よりも頻繁にモデルが無限の推論ループに入ることがあり、また、ときどきツール呼び出しの失敗も見かけるという点です。後者はパーサのバグの可能性はありますが、前者はモデルそのものです。
基本的なアプリでは問題ありませんが、コンテキストがほぼ空に近い状態でも、単純な3Dゲームのような、より複雑なものに先へ進もうとすると本当に苦戦します。まるで非常に防御的になろうとして、絶えず自分を再確認し続けているかのようです。
他にも同様の観察をしている人はいますか？
編集：8bitのMLX、Q6_K_XL、Q8_XL、BF16を試しましたが、全部この問題がありました。言い忘れていました
[link] [comments]
