Bonsai を Bankai してわかったこと：1-bit LLM はチューニングできる？

TL;DR 1-bit LLM（Bonsai）を 1-bit のままチューニングする方法はないのか？ ビット反転で重みを変える Bankai という手法を見つけたので、自分の環境で 4 タスク試してみた 共通パターンのある客観的分類では効いた（検証セットで +2〜4 問改善） 個人の好みの学習には完全に失敗した（0 問改善） ビット反転は「新しい能力を作る」のではなく「既存の回路を強化する」手法だった Bonsai と Bankai Bonsai: 1-bit LLM 近頃 Qwen3 や Llama 4 などのローカル LLM が急速に性能を伸ばしていますよね。私は自前...