みなさんこんにちは、
私はプログラマーで、日々の仕事でスピードを上げるための一種の「スーパーパワー」として、ローカルLLMを使ってみたいと思っています。
よくあるユースケースはこうです。私はコードベース(Rust、Python、Go、またはReact/Vue付きのTypeScript)に取り組んでいて、モデルに既存プロジェクトを理解させ、その上で新しい機能を実装してほしい — できれば、IDEに直接コードを書かせるような、ペアプログラミングの相棒のような使い方をしたいです。
今のところ、Claude、Qwen、ChatGPT、GLMといったクラウドモデルを試してみました。正直なところ結果はとても良いです(特にClaude)。ただ、コストとプライバシーが気になり始めていて、なのでローカルにすることに関心があります。
現在の構成:
Ryzen 9 9950X 96 GB DDR5 RAM GPUはまだ選定中
いくつかの選択肢を検討していますが、どれが一番理にかなっているのか確信が持てません:
- 選択肢A:GPUを追加する
Nvidia 5090(約€ 3500)AMD R9700 32 GB(約€ 1300)
選択肢B:MacBook Pro M5 Maxに全振り(128 GB RAM、約€ 7000)
主な質問:1. コーディングタスクにおいて、実際にClaude級の性能に近づくローカルLLMはありますか?
コーディング+コードベースを意識した編集に特化した、しっかりしたベンチマークはありますか?
この種のワークフローに対して、現在いちばん良いローカルモデルはどれですか?
この用途で、現実的にどれくらいのVRAM/ユニファイドメモリが必要ですか?
Denseモデル vs MoEモデル — ローカルではどちらがうまくいきますか?
生成速度は本当にそんなに重要ですか?(例:実運用で45 tok/sと100+ tok/s)
みなさんはこの用途で何を使っていますか?(IDEプラグイン、ローカルエージェントなど)
ハードウェアに数千ドル(あるいはそれに相当)をつぎ込む前に、これらのセットアップをどうやってテストできますか?
実際の開発作業のためにローカル環境を本当に運用している方の意見が聞きたいです(デモだけではなく)。あなたの経験はどんな感じですか?
[link] [comments]



