ローカルでAIを動かすためのこのAndroidプロジェクトに取り組んでいます。以前この件について投稿しましたが、最新バージョンではかなり大きな変更と追加が入っています。
今回のアップデートでの主な追加点：
ローカルLLMのベンチマーク 端末をベンチマークして、異なるスレッド数を比較することで、モデルに最適な構成を推測ではなく見つけられます。
データセット作成 データセット作成では、txtまたはPDFファイルをインポートし、それらをチャンクに分割、クリーンアップし、質問/回答ペアを生成、評価し、最終的なデータセットをAlpaca JSON形式でエクスポートできます。パイプラインで使うプロンプトもカスタマイズ可能です。
Termux / proot のワークフロー このアプリは、Termux経由でprootディストリを使うためのサポートがより強化されました。SSHセットアップ支援、事前定義されたツールのインストール手順、対応ツールに対するアプリ内WebViewアクセス、そしてアプリ内からのファイル管理が含まれます。
AIエージェントのワークスペース Termuxとローカルバックエンドを中心に構築された、エージェント指向の環境が新たに用意されました。カスタムツール、カスタムエージェント、よりプロジェクト志向のワークフローへの対応があり、LLMにツールを使ったりコマンドを実行したりといった力を与えます…
字幕の焼き込み Whisperで字幕を生成し、フォント、色、位置のコントロールで動画に焼き込めます。
サマリーのワークフロー変更 サマリーは、Ollamaおよびllama.cpp互換バックエンドでよりうまく動作するようになりました。
内蔵のOllamaおよびllamaツール これで、モデルとModelfileのための内蔵Ollamaマネージャーが追加されます。さらに、llama-server形式のバックエンド向けのネイティブなチャットインターフェースも用意されており、（WebUIで起きるのと同様に）接続が切れてしまうことなく、サーバーへの長時間の呼び出しを実行できるようになります。
ペットシステム アプリのTama側には、メモリ、冒険、農場管理、そしてやり取りをめぐるゲームプレイがあります。
また、これまで私が注力していたものも引き続き含まれています。例えば、Android端末間での分散推論、メディアやドキュメント向けのワークフローベース処理、オフライン知識ツール、ローカル画像生成、使わずに放置するのではなく古いスマホをローカルAIに再利用するという一般的な発想です。
最も簡単な導入ルートがよければ、Google Playのベータ版もあります。Play版はApp Bundleを使用するため、ユニバーサルパッケージよりインストール容量が小さく、ベータに参加することでさまざまな端末でのテストを大いに助けます：
Google Playベータ: こちら
GitHub: こちら
ご意見・フィードバックを歓迎します。
[link] [comments]
