転移学習のための時刻ワーピング型リカレントニューラルネットワーク

概要: 動的システムは、物理システムが時間とともにどのように変化していくかを記述します。物理的なプロセスは、環境条件によって速くも遅くも進行し得ます。本論文では、時間ワーピング（time-warping）を、物理システムのモデルにおける時間の再スケーリングとして用います。本論文は、時間ワーピングに基づく反復型ニューラルネットワーク（RNN）に対する、新しい転移学習手法を提案します。時間遅れモデルとして知られる、線形かつ一次の常微分方程式のクラスに対して、LSTMがこれらのシステムを任意の精度で近似できること、そして近似精度を維持したままモデルを時間ワーピングできることを証明します。
その後、転移学習における時間ワーピング手法を、野火（wildfire）モデリングにおける重要概念である燃料の含水率（FMC）の予測という応用問題で評価します。LSTMの反復層を持つRNNを、教師データの学習に利用できる大規模なデータが存在する、特性時間スケールが10時間の燃料で事前学習します。その後、転移学習によりRNNを修正し、特性時間スケールが1時間、100時間、1000時間の燃料に対する予測を生成します。時間ワーピング手法を、いくつかの既知の転移学習手法と比較して評価します。時間ワーピング手法は、他の手法が変更するパラメータのごく一部だけを変更するにもかかわらず、確立された手法と同等の精度レベルの予測を生成します。