広告

ローカルGGUFモデル向けの外科手術的な重みエディタを構築:GPU不要・学習ループ不要で、個々の重みを直接編集(オープンソース)

Reddit r/LocalLLaMA / 2026/3/30

💬 オピニオンDeveloper Stack & InfrastructureSignals & Early TrendsTools & Practical UsageModels & Research

要点

  • PickyTrainは、ローカルGGUFモデル向けのオープンソースの「外科手術」型重みエディタで、GPU不要かつ学習ループ不要のまま、重みを個々に直接検査・パッチ適用できます。
  • このツールはモデル構造(例:アテンションヘッド、FFNレイヤー、埋め込み)に関するセマンティックな理解を提供し、層/タイプごとにテンソルを表示し、編集が結合した重みに影響する場合は影響警告を発します。
  • GGUFを中間のPTXY流体(fluid)形式に変換することに対応しており、座標(層、行、列)で重みを編集できます。加えて、ドリフト防止のガードレールと、複数の変更に対するロールバックのジャーナリング/取り消し(undo)を備えます。
  • 性能と安全性のためにRustのコアで構築されており、PyO3によりPythonバインディングも提供しています。現在は、Q4_K、Q6_K、Q8_0、ならびにF16/F32といった一般的なGGUF量子化フォーマットを対象としています。
  • リリースは開発初期/開発中として説明されており、今後の機能(ライブ学習、視覚的なマトリクスUI、モデル統合など)に向けた貢献を呼びかけています。
ローカルGGUFモデル向けの外科的な重みエディタを作りました。個々の重みを直接編集できます。GPU不要、学習ループ不要(オープンソース)

ここ数か月、どこかで「そのままモデルを実行する」と「完全に再学習する」の間を埋めてくれるような、実際のモデル重みをマッピングしたり閲覧したりするのに役立つツールが見つかりませんでした。

PickyTrain は、GGUFモデルを開いて個々の重みを直接編集できます。AIモデルに対するヘックスエディタのように考えてください。ただし意味(セマンティクス)を理解するので、どのテンソルがアテンションヘッドで、どれがFFN層で、どれが埋め込みかを把握し、編集が結合された重みに影響する場合は警告します。

できること:

  • GGUF → PTXY へ変換(STATIC/FLUID ゾーンを持つ新しいORIGINALの流体(fluid)形式)
  • Llamaモデルの層とタイプごとに、全254テンソルを閲覧
  • 座標(層、行、列)で指定して、任意の重みを読み取り・パッチ適用・微調整
  • 編集前の影響警告(例:「ffn_gateを編集すると ffn_up と ffn_down も影響を受ける」)
  • モデルの崩壊(collapse)を防ぐためのドリフト・ガードレール
  • 完全なロールバック用ジャーナル—いくつでも編集を取り消せます
  • CLIツール、Pythonライブラリ、curses TUI

コアエンジンはRustで書かれています(高速・安全・ガベージコレクタなし)。PyO3 によりPythonバインディングを提供します。Q4_K、Q6_K、Q8_0、F16、F32 の、よく使われるすべてのGGUF量子化形式に対応しています。

これは初期リリースで、さらに作りたいものがたくさんあります(ライブ学習エンジン、可視化マトリクスUI、モデルのマージなど)。協力してくださる方やフィードバックを歓迎します。

(注:開発途中のため、バグが見つかる可能性があります!)

GitHub: https://github.com/Ainix-dev/PickyTrain

投稿者: /u/SpiritOk6612
[リンク] [コメント]

広告