Lemonade OmniRouter：オムニモーダルに向けてローカルAIエンジンを統合する

ChatGPTに画像の作成や編集を頼むと、それがそのまま実行されるのが、私はずっと気に入っています。ローカルAIも、こんなふうに便利であるべきですね！ 1つのインストール、1つのエンドポイント。猫の画像を頼めば出てくる。猫に帽子をかぶせて、ナレーション付きのストーリーで、なんて頼めば作ってくれる。これで、没入感のある体験を簡単に構築できます。

LemonadeのOmniRouterは、組み込みのツールによって同じパターンをローカルにも持ち込みます：

• sd.cppによる画像生成/編集
• kokorosによるテキスト読み上げ
• whisper.cppによる書き起こし
• llama.cppによるビジョン

あなたのワークフローは、OpenAI互換のツール呼び出しを通じて、手元のNPU/GPU上で動いているLemonadeと会話します。

仕組み：

1. Lemonadeが、これらすべてのローカルAIエンジンをシステム向けにセットアップします。
2. ワークフローにLemonadeのツール定義を追加します。
3. あなたのLLMがツール呼び出しをトリガーすると、それが対応するエンジン（sd.cpp、whisper.cpp、kokoros）にルーティングされます。
4. 結果をループに返します。

以上です。カスタムのオーケストレーション層は不要です。学ぶべき新しい抽象化もありません。この181行のe2e Python例を見てください。

私たちは、参照用のWeb UI（Tauriアプリとしても利用可能）にOmniRouterのサポートを追加しました。動画で見えているのはその部分です。ただ、もっと人々がその上に何を作るのかを見られるのが、私はずっと楽しみです。

次のプロジェクトは、ある種のTTRPG風アドベンチャーゲームになるはずだと分かっています。すでに、OmniRouterに「挿絵を描き、物語をナレーションするダンジョンマスターになって」と頼むのが、意外なくらい楽しいです。そして、周りにアプリ/ハーネスを作れば、かなり強化できると思います。

もしこれに興味があるなら、ぜひスターを付けて、気軽に挨拶してください！ * GitHub: https://github.com/lemonade-sdk/lemonade * Discord: https://discord.gg/5xXzkMu8Zk