Karpathyのオートリサーチは素晴らしい — エージェントが train.py を編集し、一晩で小さなLLM実験を実行します。しかし、それには本格的なVRAMが必要です。
私は、それを私の1080/3060のような普通のカードで動かすためにフォークしました:
- 自動でモデルサイズ/深さ/バッチ/シーケンス長を選択して、VRAMに収まるようにします(バッファを残し、OOMの驚きをなくします)
- シンプルなダークGUIダッシュボード: リアルタイムのVRAMバー、ログ、設定プレビュー、開始/停止 — 端末をじっと見る必要はありません
- 派手なカーネルを削ぎ落とした(torch sdpaを使用)、設定が容易、古いPascal世代にも対応
クイックテーブルの例(READMEの全文はこちら):
4GB → 約86Mパラメータ
8GB → 約285Mパラメータ
(現在はNVIDIAのみ対応で、同社のGPUすべてで動作します)
リポジトリ: https://github.com/jlippp/litesearch
MITライセンス、pip/uv installを素早く。
(元のアイデアはKarpathyに敬意を表します。)
[リンク] [コメント]
