かなりしっかりした構成が動いています（128gb Strix Halo の統合メモリ）し、汎用目的で気に入っている LLM モデルもあります（llama.cpp + Open Web UI 経由の GPT-OSS 120B Q4）。それに参照させるためのデータをいくつか作り込んだり、Open Web UI の機能をいろいろ試したりしています。さまざまなモデルや構成でミニマム（最小化）〜マックス（最大化）をやるのは楽しいです。
しばらくの間は、能力のためにラットレース（競争）から少し離れていても大丈夫です。自分が持っているものをどう使うかについては大きな構想がありますし、他の人が何をやっているのかも聞いてみたいです。個人的には、データの所有権を最優先にしつつ、要するに AI を搭載したセルフホスト型サーバーを構築していけたらと思っています。ストリーミング、個人用ドキュメントのリポジトリ、法務アシスタント（主に、あまりに長すぎる利用規約＆amp;条件を解釈するため）、そして他にもたくさんの、まだ固まっていないアイデアの山。
皆さんは、セットアップから一番どんな楽しさを得ていますか？
[link] [comments]
