私のシステムには32GBのRAMと8GBのVRAMがあります。DeepSeek-R1-Distill-Qwen-7B-Q6_K_L.ggufを試してみたのですが、私の求めているものに対しては大幅に不十分でした。そこで、ほかの提案を探しています。
私は、世界が厳密な2D座標グリッドであるプロシージャルなテキストアドベンチャー・エンジンに取り組んでいます。モデルはボード状態(10x10)と、有効なアクションの一覧(最大50)を受け取ります。試した7Bモデルは「空間IQ」で失敗し続け、幻覚を起こしてグリッドのレイアウトを無視しようとすることがありました。32GB未満に収めながら、ある程度システムメモリを確保できる分割モデルを探しています。
[リンク] [コメント]




