こんにちは r/LocalLLaMA!私はRekaで働いていて、先月私たちの AMA を企画しました。皆さんの中には llama.cpp のサポートを求めていた方もいると思いますが、これは、Reka Edge 2603 が llama.cpp で上流(アップストリーム)対応されたことをお知らせするフォローアップです。
始めるには:
- HF のリポジトリから Reka Edge 2603 の weights を使用する
- llama.cpp リポジトリのルートから GGUF 変換スクリプト を実行する
- (任意)テキストデコーダ用に 量子化スクリプト を使用する
補足:現時点では、このモデルは推論(reasoning)をサポートしていません。そのため、`--reasoning off` を付けて llama-server を実行してください。楽しいハッキングを!
[link] [comments]
