深層学習の最適化アルゴリズムを自動的に発見するための遺伝的アルゴリズムの枠組みを提示します。
本アプローチでは、オプティマイザを、基本的な更新項（勾配、モメンタム、RMS正規化、Adamスタイルの適応項、符号に基づく更新）と、ハイパーパラメータおよびスケジューリングオプションの組み合わせを指定するゲノムとして符号化します。
50世代にわたる個体数50の進化探索を行い、複数の視覚タスクにわたって評価した結果、Adamを総合適応度（aggregate fitness）で2.6%上回り、CIFAR-10で7.7%の相対的改善を達成する進化済みオプティマイザを発見しました。
進化済みオプティマイザは、符号に基づく勾配項と適応的モーメント推定を組み合わせ、Adamよりも低いモメンタム係数（ =0.86, =0.94）を用います。また、特筆すべき点として、バイアス補正を無効化しつつ、学習率ウォームアップとコサイン減衰を有効にします。
本結果は、進化探索によって競争力のある最適化アルゴリズムが発見でき、手作りのオプティマイザとは異なる設計原理が明らかになることを示しています。
[link] [comments]
