開発者のみなさん、こんにちは！
私たちの多くと同じように、データをプライベートに保つためにローカルのAIモデル（LLM）を動かすという考えが大好きです。ですが、正直に言うと、誰もが巨大で高価なGPUを持っているわけではありません。古いCPUのみのマシンでまともなものを動かそうとすると、システムがクラッシュしたり、耐えられないほどのラグが発生したりすることがよくあります。
このハードウェアの壁を解消したくて、Aios の開発を始めました。
️ Aiosとは？
Aiosは、低スペック環境でも効率よく動作するように設計された、GGUFモデルを実行するためのオープンソースのハイブリッドAI推論エンジンです。
ただの別のPythonラッパーを作るのではなく、ハイブリッド構成にしました：
- コア（C++）： 重い計算処理を担当します。私はカスタムメモリアロケータ（Sovereign Arena）を実装し、三値（ternary）の数学ロジックを統合しました。これにより、標準的なCPUから可能な限りのパフォーマンスを絞り出しつつ、メモリ使用量を非常に低く抑えられます。
- フロントエンド（Python）： APIサーバーとユーザーインターフェースを管理します。これにより、エンジンは非常に柔軟で、読みやすく、他のツールとの統合も簡単になります。
ご協力が必要です（コントリビューター募集！）
私はこのプロジェクトをGPLv3ライセンスのもとですでにオープンソース化しました。ですが、低レベルの最適化や、2つの言語をまたいだ実装では壁にぶつかっています。
ハードウェアに関係なく、AIを誰にでも使えるようにしたいという情熱があるなら、ぜひあなたの意見をいただけたら嬉しいです。特に次の点での手助けを探しています：
- C++のメモリ割り当てと推論速度の最適化。
- PythonからC++へのブリッジの改善（
c_api）。 - 一般的なバグ修正とUIの強化。
リポジトリはこちら：
GitHub上のAios
コードレビューでも、Pull Requestでも、あるいはC++コードを改善するためのコメントでのアドバイスでも構いません。どんなフィードバックも大歓迎です！ どんな環境でもローカルAIを動かしましょう。
