フィードバックメモリを活用した資源効率の高い反復型LLMベースのNAS

要旨：ニューラルアーキテクチャ探索（NAS）はネットワーク設計を自動化しますが、従来の方法は膨大な計算資源を必要とします。我々は、LLMs を活用したクローズドループのパイプラインを提案します。これにより、LLM のファインチューニングを行うことなく、1 台の消費者向けGPU上で画像分類のための畳み込みニューラルネットワークアーキテクチャを反復的に生成・評価・改良します。アプローチの中心には、マルコフ連鎖に触発された歴史的フィードバックメモリがあります：$K{=}5$ の最近の改善試行のスライディングウィンドウは、文脈サイズを一定に保ちつつ反復学習に十分な信号を提供します。従来の LLM 最適化手法が失敗の軌跡を破棄するのとは異なり、各履歴エントリは構造化された診断トリプルであり、特定された問題、提案された修正、結果として生じたアウトカムを記録します。これによりコード実行の失敗を学習信号の第一級の資源とします。デュアル LL M の専門化により呼び出しごとの認知負荷を低減します：Code Generator が実行可能な PyTorch アーキテクチャを作成し、Prompt Improver が診断推論を担当します。LLM とアーキテクチャ訓練の両方が限られた VRAM を共有するため、探索はエッジ展開に適したコンパクトでハードウェア効率の高いモデルを暗黙のうちに選好します。我々は、最大 ${ <=}7$B パラメータの 3 つの凍結済みインストラクション微調整済み LLM を、制約のないオープンコード空間で最大 2000 回の反復にわたり評価し、CIFAR-10、CIFAR-100、ImageNette に対する 1 エポックの代理精度を高速なランキング指標として用います。CIFAR-10 では、DeepSeek-Coder-6.7B は 28.2% から 69.2% へ、Qwen2.5-7B は 50.0% から 71.5% へ、GLM-5 は 43.2% から 62.0% へ改善します。全ての 2000 回の反復探索は、単一の RTX~4090 上で概ね ${low}18$ GPU 時間で完了し、クラウドインフラなしでの LLM 主導 NAS の低予算・再現性・ハードウェア認識パラダイムを確立します。