私は、pH7Console、Rustを使ってローカルでLLMを実行するオープンソースのAI搭載ターミナルを紹介します。
GitHub: https://github.com/EfficientTools/pH7Console
完全にオフラインで、テレメトリなし、クラウド呼び出しなし の状態で動作するため、コマンド履歴とデータはあなたのマシンに保持されます。ターミナルは自然言語をシェルコマンドに翻訳し、文脈に基づいてコマンドを提案し、エラーを分析し、暗号化されたストレージを使用してローカルのワークフローから学習します。
サポートされるモデルには Phi-3 Mini、Llama 3.2 1B、TinyLlama、CodeQwen が含まれ、メモリ使用量を抑えるために量子化版が用いられます。
スタックは Rust with Tauri 2.0、React + TypeScript フロントエンド、推論用の Rust Candle、ターミナルエミュレーションの xterm.js です。
Rust ML アーキテクチャ、低メモリシステムでの推論性能、潜在的なセキュリティ上の懸念についてのフィードバックをぜひお願いします。
ありがとうございます！
[リンク] [コメント]
