プリンストン出身の5人チームで、Apple Silicon 向けにローカル推論エンジンを構築するための資金を獲得しました。rustで、手書きのカーネルを使っていて、~100人規模で運用するとバグや「ツール面で人が望むもの」が見えてくる段階に来ています。これらはすべて無料のオープンソースであり、そうあり続けます。
同等の性能を長期的に大きなモデルにも適用できるという観点では、同じ方向性で取り組んでいる小型モデルでは、私たちは llama/mlx より先行しています。これから向かう先として、私たちが構築しているエンジンは、完全にローカルなエージェントをサポートしており、あなた自身のファイルやアプリに対して、実際の作業を行えます。OSカーネルによる権限の強制も備えています。
フィードバックをお待ちしています。もし本当に興味があるなら、ウェイトリストを開いて100人を無料ベータに迎え入れ、特定のツールの作成や、セットアップに対するパフォーマンスエンジニアリングについて、1対1で一緒に進めていきます（https://conifer.build/feedback で登録）。これを使うことを想像できていて、何をやりたいか少しでもイメージがある場合にのみお願いします。今夏の後半にフルバージョンを公開しますが、人材を中心に作りたいと考えています。ローカルモデルを実行している人たちからの、実際の利用と、制約のないフィードバックが必要です。
サイトは conifer.build で公開中です。ぜひ、見たいものやアイデアがあれば何でも書き込んでください。コメントを匿名で入れたいなら conifer.build/feedback
[link] [comments]
