AI Navigate

Litesearch: Karpathyのautoresearchを消費者向けGPU(4–8GB)対応にしたもの + 使いやすいGUI

Reddit r/LocalLLaMA / 2026/3/22

📰 ニュースTools & Practical UsageModels & Research

要点

  • Litesearchは、VRAMが4–8GBの消費者向けGPUで小規模なLLM実験を実行するよう設計されたKarpathyのautoresearchのフォークです。
  • VRAMに収まるようにモデルサイズ、深さ、バッチ、シーケンス長を自動的に選択し、OOMエラーを防ぐための余裕を確保します。
  • ライブのVRAM使用量、ログ、および設定プレビューを表示するシンプルなダークテーマのGUIダッシュボードを提供し、ターミナルを眺める必要をなくします。
  • 派手なカーネルを減らし(torch sdpaを使用)、設定が容易になり、旧Pascal世代のGPUでも動作します。
  • 本プロジェクトは現時点NVIDIA専用で、概算のパラメータ対応関係(4GBは約8600万、8GBは約2億8500万)とMITライセンスのもと、pip/uvインストールに対応します。

Karpathyのオートリサーチは素晴らしい — エージェントが train.py を編集し、一晩で小さなLLM実験を実行します。しかし、それには本格的なVRAMが必要です。

私は、それを私の1080/3060のような普通のカードで動かすためにフォークしました:

  • 自動でモデルサイズ/深さ/バッチ/シーケンス長を選択して、VRAMに収まるようにします(バッファを残し、OOMの驚きをなくします)
  • シンプルなダークGUIダッシュボード: リアルタイムのVRAMバー、ログ、設定プレビュー、開始/停止 — 端末をじっと見る必要はありません
  • 派手なカーネルを削ぎ落とした(torch sdpaを使用)、設定が容易、古いPascal世代にも対応

クイックテーブルの例(READMEの全文はこちら):
4GB → 約86Mパラメータ
8GB → 約285Mパラメータ
(現在はNVIDIAのみ対応で、同社のGPUすべてで動作します)

リポジトリ: https://github.com/jlippp/litesearch
MITライセンス、pip/uv installを素早く。

(元のアイデアはKarpathyに敬意を表します。)

投稿者: /u/Fast-Mousse405
[リンク] [コメント]