レベルアップ: カリキュラム学習における過渡的問題の定義と活用

概要: カリキュラム学習――機械学習を支援するために訓練データを連続した順序で並べる手法――は人間の学習に着想を得ているが、広く受け入れられていない。静的なアイテム難易度評価戦略は、品質の異なる間接的な代理スコアに依存し、手元の学習者に特化していないカリキュラムを生み出す。動的アプローチは勾配情報に基づいて難易度を推定し、訓練中にはかなりの追加計算を必要とする。私たちは、与えられたモデルの能力に直接相対させて難易度を測定する新しい手法を紹介し、モデル能力が向上するにつれて一貫して解きやすい移行的な問題を特定する。この方法をチェスと数学に適用すると、易しい移行的な問題から難しい移行的な問題へと段階的に難しくなるカリキュラムで訓練することが、モデルを次の能力レベルへ最も効率的に向上させる。これらの問題は、より簡単な項目からより難しい項目へと自然な進行を生み出し、他の訓練戦略を上回る。モデルの能力に対して難易度を直接測定することにより、私たちの手法は解釈可能な問題、学習者ごとに特化したカリキュラム、そして段階的改善のための原理的根拠を提供する。