 | 「AI」アプリの99%は、ただあなたのデータをクラウドのLLMに流してGPTラッパーであると主張して、それを商品と呼んでいるだけです。 あなたのデジタルライフ全体（すべてのスクリーンショット、メモ、ファイル...）を理解する“知能レイヤー”を、これまで誰も作っていません。なぜなら、すべてのデータをクラウドに送ることになるからです：
しかしオンデバイスのモデルは、一般的に賢くなく、動作も遅すぎます。 私はオンデバイスAIスタックのあらゆる層をゼロから最適化するのに、ほぼ1年を費やしました！ バッチのマルチモーダル推論のためにAppleのMLXフレームワークを改造しました（そもそもその用途に作られていません）。4×大きいモデル [Qwen 3.5 9B] から、より小さいモデル [Qwen 3.5 2B] にビジョン機能を移植し、MLX専用のカスタムk-quantsを作成しました。さらに、チップごとに利用可能なRAMに合わせて調整した量子化を実装し、推論速度のために独自のKVキャッシュ再利用 + flash attentionも導入しました。 Sentient OSは、端末が充電している間の夜にあなたのデジタルライフ全体を解析し、理解します。 これで実現できます： 1️⃣ あなたのデジタルライフに話しかける： 「好きだったあのワインは何だっけ？」「来週会いたいのは誰だっけ？」 2️⃣ あなた自身のデータから引き出される、先回りのリマインダー： 「スクリーンショットしたあのコンサートのチケット、明日オープン！」 3️⃣ あなたのデジタルライフ全体の知識グラフ： 任意のノードをタップして、“埋もれていたもの”を見つけられます。 さらにMCPを使えば、既存のあなたのLLM（ChatGPT、Claudeなど）もあなたのデジタルライフと会話できるので、ちゃんとあなたを理解します！ 初期アルファでは、6年使っているiPhone上で完全にオンデバイスで約3,000枚のスクリーンショットを処理しています。近いうちにMac & iPhoneにも対応予定（そしてWindows & Androidは近い将来！） 最初の150ユーザーには、生涯無料アクセスを提供 ぜひ聞かせてください：あなたが、あなたの全てを理解するオンデバイスのマルチモーダルLLMに、他に何をしてほしいですか？ [リンク] [コメント] |
Sentient OS：端末内で動く独自のビジョンLLMが、あなたのデジタルライフ全体（すべてのスクリーンショット、メモ、ファイル、メール…）を理解し、端末は夜間充電
Reddit r/artificial / 2026/5/2
💬 オピニオンSignals & Early TrendsTools & Practical UsageModels & Research
要点
- この投稿は「Sentient OS」として、ユーザーのデジタルライフ全体（スクリーンショット、メモ、ファイル、メールなど）をクラウドに送らずに端末内で理解することを目指したオンデバイスのビジョンLLMを紹介しています。
- 著者は、AppleのMLXを改造し、Qwenモデルを適応させ、独自の量子化やKVキャッシュ再利用／flash attentionを実装することで、プライバシーを保ちつつ高速なマルチモーダル推論を実現するために約1年をかけてAIスタック全体を最適化したと主張しています。
- 主要機能として、端末内RAG的に「自分のデータに話しかける」、ユーザー自身のコンテンツから抽出する「先回りのリマインダー」、そして埋もれた情報を見つけやすくする「ナレッジグラフ」を挙げています。
- MCPの統合にも触れており、既存のLLM（ChatGPT、Claudeなど）がSentient OS経由でユーザーのデータにアクセスできることで、より“自分のことを理解する”体験につながるとしています。
- 6年ほど前のiPhoneで約3,000枚のスクリーンショットを端末内処理して動作する初期アルファが述べられており、まずMac/iPhone、次にWindows/Androidを予定し、最初の150ユーザーにはライフタイム無料アクセスを提供するとしています。
