私たちは karpathy/autoresearch をフォークし、興味深いと思ったいくつかの機能を追加しました。
ウェーバーの電動力学的最適化手法。 19世紀の電磁気学からのウェーバーの力の法則に基づく括弧を勾配降下法に適用しました。括弧 W = 1 − v²/(2c²) は、モーメンタム（速度）とモーメンタムの変化（加速度）に基づいて、パラメータごとの有効学習率を修正します。加速しているパラメータはより大きなステップを取り、減速しているパラメータは減衰されます。非常に速く変化するパラメータは自然な速度制限に達します — これはウェーバーの理論において回転する物体が異なる有効慣性質量を持つのと類似しています。AdamW と Muon の両方に適用しました。c² のハイパーパラメータは補正強度を制御します。
真のハードウェア乱数種。 代わりに torch.manual_seed(42) を使うのではなく、RTL-SDR 無線受信機で捉えられた ADC 量子化ノイズから種を取ります。軽量な Rust サービス (DeepBlueDynamics/sdr-random) が IQ サンプルを取得し、LSB を抽出し、HTTP 経由でエントロピーを提供します。トレーニングスクリプトは起動時に 8 バイトを取得し、SDR が利用できない場合は os.urandom にフォールバックします。
複数プロバイダ対応エージェント・ハーネス。 agent.py は、Claude、GPT-4o、または Gemini のツール呼び出しを組み込んだ実験ループをラップします。10 個のツールはハイパーパラメータの読み書き、アーキテクチャの編集、実験の実行、保持/破棄の意思決定をカバーし、熱力学的記憶エンジン（記憶は減衰し、想起時に強化され、夢のサイクル中に統合される）による永続的なメモリを提供します。エージェントは自動的に圧縮されるコンテキストで無限に実行します。
215 件のコミュニティ実験の最良結果を統合。 深さ 9、バッチサイズ半減、SSSSL ウィンドウパターン、RoPE base 200K、初期スケールを 0.68 倍、埋め込み/VE/lm_head のウェイトデケイ。ベースライン: 0.9979 → 0.9697 の val/bpb を H100 で達成。
マルチGPUサポート。 自動検出で FA3（Hopper）を認識、またはコンシューマー GPU には PyTorch SDPA にフォールバックします。 Windows では自動的に torch.compile のバイパスが機能します。GPU パススルーを含む Docker コンテナ付き。
Repos: DeepBlueDynamics/autoresearch · DeepBlueDynamics/sdr-random
ウェーバー最適化手法は私たちが最も好奇心を抱く部分です。物理の類推は本物です — ウェーバーの括弧は電荷間の径方向の速度と加速度に基づいて力を修正し、最適化手法はパラメータ空間でも同様のことを行います。それが素の AdamW または Muon より val/bpb を実際に改善するかどうかは未確定です。私たちはそれが正しいレンジ（c²=1.0 の場合、1ステップあたり約0.1–1%）で数値的に安定であることを検証しましたが、ベースラインを凌ぐと断言するには十分な実験をしていません。それを検証するのがエージェントの役割です。
[リンク] [コメント]
