Dual-Criterion Curriculum Learning：時間データへの応用

要旨: カリキュラム学習（CL）は、難易度の進行に基づくスケジュールに従ってデータのインスタンスを段階的に与えることでモデルを訓練する、メタラーニングのパラダイムである。有意義な難易度評価指標を定義することは決定的に重要であり、効果的な学習のための主たるボトルネックであることが多い。一方で多くの場合、用いられるヒューリスティックは用途固有のものにとどまっている。本研究では、インスタンス単位の難易度を評価する2つの見方を組み合わせるデュアル・クライテリア・カリキュラム学習（DCCL）フレームワークを提案する。すなわち、損失ベースの基準を、データ表現空間で学習される密度ベースの基準で補完する。基本的に、DCCLは、データの疎（スパースネス）が学習の難しさを増幅することを考慮しつつ、学習に基づく証拠（損失）を校正する。テストベッドとして時系列予測課題を選ぶ。この枠組みを、多変量時系列のベンチマークに対して、標準的なワンパスおよびベイビーステップの学習スケジュールのもとで評価する。実験結果は、この設定において、損失のみのベースラインおよび標準的な非CL学習に比べて、密度ベースおよびハイブリッドのデュアル基準カリキュラムが有意であることを示している。