エージェントではなくツールとしてのLLM：コードマイニングによる木構造変換を用いたニューラルアーキテクチャ探索

要旨: ニューラルアーキテクチャ探索（NAS）は、高性能な深層ニューラルネットワーク（DNN）アーキテクチャを自動的に発見することを目指します。しかし従来の、アルゴリズム駆動型のNASは、実行可能性を確保するために入念に手作りされた探索空間に依存しており、これがオープンエンドな探索を制限します。大規模言語モデル（LLM）を用いた、コーディングベースのエージェント的アプローチは手動設計を減らしますが、現在のLLMは複雑で妥当なアーキテクチャを確実に生成するのが難しく、提案はしばしば学習データから観測された限られた一群のパターンに偏っています。信頼できるアルゴリズム探索と強力なLLM支援をつなぐために、本研究ではLLMasToolを提案します。これは、安定かつオープンエンドなモデル進化のための、階層的な木ベースのNASフレームワークです。提案手法は任意のソースコードから再利用可能なモジュールを自動抽出し、完全なアーキテクチャを階層的な木として表現することで、コード生成ではなく信頼できる木変換によって進化を可能にします。各進化ステップにおいて、粗いレベルの計画は、多様性誘導アルゴリズムにより制御されます。このアルゴリズムはベイズモデリングを活用して探索効率を高めます。一方でLLMは、意味のある進化的軌跡と実行可能に生成されたアーキテクチャを確実にするために、残りの自由度を解決します。このような定式化により、提案手法は完全にエージェント的なLLMアプローチとは異なり、LLM固有のバイアスを超えた多様な方向性を探索します。提案手法は既存のNAS手法よりも、CIFAR-10で0.69、CIFAR-100で1.83、ImageNet16-120で2.68ポイント改善し、その有効性を示します。