短くします。たぶん皆さんほとんどもうこの感覚はあるはずなんですが、誰も口に出していないので。
このコミュニティの才能の密度は、本当に度を超えてます。ここ数日、DMやコメントを見て回ってるんですが、みんながひそかに作っているものが、正直私の脳細胞を驚かせています。たとえばあの人は、オルガン・オン・チップ（OOC）を使って、データを分析して臓器の振る舞いをシミュレートし、薬の反応をテストできるようにして、動物実験を減らそうとしていました。しかもその詳細はよく分からないけど、とにかくすごい。
自分が所有しているハードウェア上で、Tailscale経由で小さなチームに対してモデルを提供している人たちがいます。3090一台で、法律事務所向けのドキュメント取り込みシステムを作った人もいました。彼にリトリーバル層をどう構成したのか聞いたら、いろいろ教えてくれました。彼は今、さらにGPUを調達して投資し直していて、すでに10日以内に自分のハードウェアコストを回収済みです。
これが、このサブが常に感じるべきものです。（プロジェクトでお金を稼ぐことは別として）難しいことに取り組む。最適化ももちろんアリです。ただ、いろんなものを“ハックしてつなぐ”ことで、ある時点で生まれるはずのアレームバリー（新しい何か）に変わることもあります。
それなのに、投稿やコメントの大きな部分がベンチマーク戦争になっていて、お互いのハードウェア選びを揶揄したり、私の過去の投稿にまで噛みついてきたりするなど、前に進むことのない雑音が多いです。ベンチマークが重要なのは分かります。でも、ユースケースのないベンチマークはただの数字です。
このサブで私が最後にした投稿はこちら：- https://www.reddit.com/r/LocalLLaMA/s/5aacreWFiF
私は学部の頃、3年前にM1 Maxから始めました。Metalをいじり、Appleシリコンでの推論に深く潜り、データセットを作り始めて、mlxにも貢献しました。友達もTRTでも貢献してくれて、そして今は、さらに進めるためにRTX Pro 6000を2台と、LambdaおよびVast.aiのクレジットでスポンサーされました。さらに少し前に、Appleシリコン向けのLLM推論で最速のランタイムを出荷しました。正直、数年かかりましたが、とにかく毎日起きてやり続けました。HFやGitHubのリンク、そしてMac Studioサブでの推論の投稿は、プロフィールの過去投稿から確認できます。
言っているのは、いじくり回すことから本当に“ちゃんとしたものを出荷する”までの道のりは、人が思っているよりずっと短いからです。このコミュニティは、話題の持ち方をもう少し意図的にできれば、もっと多くの人にそれを促せるはずです。意図的、って言葉が正しいですね。うん。
ここでもっと見たいのは—そして正直少しは見えますが、かなり少ないです—
人が実際に作っているものの投稿。使っているスタック。どこで詰まっているか。制約のあるハードウェアで本当の仕事をしている人からのAMA。実際の研究の議論。まだ誰も試していない新しいアイデア。そして、ただふざけて（というか）とにかく試してみること。たとえば、深夜にこれをやったことを覚えてます。変に複雑化せず、ただやっただけ。これは2023年末〜2024年初頭、GPT4Vが初めて出た頃です。当時の私はまだほぼ初心者で学生でした。友達の過去のデートや好みを使って、CLIP-ViTの埋め込みモデルを学習し、その上にランカーを作りました。さらに、Hingeのテキストプロンプトを非負値行列因子分解で分解して区別し、統合しました。加えて、グラウンディングの検出とセグメンテーションを強化するために、DINOと一緒に小さなLLaMAも投入して、画像の中でのプロンプトへの応答を良くしました。結果として、48時間で38件のデートを獲得しました。その代わりに、アメリカン・スピリットとチキンライスをもらいました。
OOCから“人をデートに連れていく”までの間の差は、正直かなり小さいです。要は、時間と労力をひとつのことにどれだけ集中できるか、それだけです。
誰かが問題を投稿して、同じ壁にぶつかった5人が、試したことを持って現れるようなスレッドを作ってもいい。全部を調整する必要はありません。週に1本でも、実際の課題を深掘りするスレッドが積み重なれば、時間の経過とともに価値あるものになっていくはずです。
私は長期でここにいます。私たちができる限り、ほぼすべてをオープンソースにします。本当に何かを作っていて、技術的な意見やセカンドペアの目が欲しいなら、いつでもそこにいます。
実際に一緒に作りましょう。
[link] [comments]
