データオーグメンテーションは、あるべき姿よりもずっとヒューリスティックに使われ続けています。
学習パイプラインは、直感の積み重ね、古いプロジェクトのデフォルト、そして論文やブログ記事から借りてきた変換処理の「山」に簡単に変わってしまいます。難しいのはオーグメンテーションを追加することではありません。難しいのはそれらについて考察することです。各変換が課そうとしている不変性は何か、その不変性が有効なのはいつか、変換の強さはどれくらいにすべきか。そして、それは汎化を改善するどころか、いつ学習シグナルを壊し始めるのか。
私が思い浮かべている例は主にコンピュータビジョンから来ていますが、根本的な問題はもっと広いものです。有用な捉え方はこうです。すべてのオーグメンテーションは、不変性の仮定である。
その捉え方はすっきりして聞こえますが、実際にはすぐに厄介になります。あるタスクでは有効でも、別のタスクでは破壊的かもしれません。ある強度では役に立っても、別の強度では害になるかもしれません。ラベルが技術的に変わらないとしても、変換によってモデルが必要とするシグナルが薄まってしまうことがあります。
私は、この主張をより長い形で、具体的な例と実践的な詳細とともに書きました。リンクは最初のコメントにあります。ここの平日投稿はテキストのみであるためです。
あなたの経験からぜひ学びたいです： - この捉え方がうまく機能する場所 - 破綻する場所 - 「ラベルを本当に保持している」ことを、単にもっともらしいだけではなくどう検証するか
[link] [comments]
