昆虫に着想を得たモジュール型アーキテクチャ：強化学習における帰納バイアスとして

arXiv cs.LG / 2026/4/27

💬 オピニオンIdeas & Deep AnalysisModels & Research

共有:

要点

この論文は、単一の集中的な潜在状態ではなく、制御を複数の相互作用するモジュールに分解する、昆虫に着想を得た強化学習（RL）ポリシー・アーキテクチャを提案しています。
モジュール設計には、感覚エンコーディング、方位表現、疎な連想メモリ、反復的なコマンド生成、局所的なモータ制御に加え、モジュール間で運動権限を選択的に割り当てる学習された裁定（アービトレーション）機構が含まれます。
2Dナビゲーション課題（餌探索、障害物回避、捕食者からの回避を同時に要求）では、提案するモジュール型ポリシーが、ゲート付きリカレントユニットやMLPなどの集中的ベースラインよりも最終的な平均性能で優位でした。
モジュール型アプローチは、最終的な価値損失が最も低く、PPOの最適化統計も安定しており、さらにモジュール割当のエントロピーが非常に低いことから、裁定機構が高度に選択的に働くことが示唆されます。
これらの結果は、複数の行動目的が動的に競合するRL問題では、分散型の制御構造が有用な帰納バイアスになり得ることを示しています。