mac mini m4（24GB）で ollama 経由で動かしています
ちゃんとしていて良い用途: 構造化されたタスク、コード生成、JSON のフォーマット、特定の指示に従うこと。Apache 2.0 ライセンスなので、実際に商用製品として出荷できます
うまくいかないところ: 多段階の推論と自己修正。エージェンティックなワークフローに使うため、hermes agent で試しましたが、3〜4 ステップ後に話の筋が途切れます。結果としてループに入ったり、以前に出した出力と矛盾したりします
私にとっての最適な使いどころは、単純で繰り返し可能なタスクはローカルの gemma に振り分け、実際の判断が必要なものはクラウドの API に任せることです。なんでもやらせようとすると、その穴がより目立つだけです
[link] [comments]
