私は、自分自身の研究を含め、現在の機械学習（ML）分野のPhDの状況について考えていて、他の人がそれをどう見ているのか知りたいです。
私の印象では、現代のML PhD研究の多くが、かなり予測可能なパターンに従っているように見えます。つまり、既存のアイデアを取り、それを別の既存のアイデアと結びつけ、少し異なる設定やコミュニティで適用し、システムを慎重にチューニングし、いくつかのベンチマーク結果を追加して、その手法を新しい最先端（SOTA）のアプローチとして提示する、というものです。もう一つよくあるパターンは、ほとんどが実験的（エンピリカル）です。ベンチマークを回し、観察結果を報告し、ある程度の分析を加え、それを主な貢献として位置づける、という形です。
はっきり言うと、私はこの種の研究が無価値だと言っているわけではありません。段階的な進歩は重要ですし、すべてのPhDが新しいパラダイムを発明する必要もありません。ですが、ときどき「多くのML PhDが、拡張版の修士論文に近いのでは」と感じます。つまり、より多くの実験、より多くの計算資源、より洗練された文章、より多くのベンチマークはあるけれど、必ずしもより深い科学的な貢献があるとは限らない、ということです。
腹立たしいのは、この同じパターンが一流（トップティア）の学会論文でも見られることです。論文は、筋の通ったストーリー、ベンチマークでの勝利、そして良い見せ方があるために強そうに見えるかもしれません。しかし「SOTA」という主張を取り除くと、そこに残る「永続的な知見」が何なのかが、常に明確になるとは限りません。私たちは何か一般的なことを学んだのでしょうか。メカニズムをよりよく理解したのでしょうか。失敗モードを特定したのでしょうか。再利用可能な手法や評価プロトコルを作ったのでしょうか。それとも、主に別の一時的なランキング改善を生み出しただけなのでしょうか。
私もこの点を自分のPhDに対して振り返っています。自分の研究にも同じようなパターンがいくつか見えるので、これは他人への攻撃という意味ではありません。より懸念しているのは、分野のインセンティブ（動機づけ）です。MLは、発表可能な差分を報いるように見えます。つまり小さな手法のバリエーション、新しい組み合わせ、ベンチマークの改善、説得力のある経験的（エンピリカル）な物語です。でも、それが一貫して「より深い理解」を報いるのかどうかは、私はあまり確信がありません。
そこで私の質問は以下です。
MLのPhDは、他分野のPhDに比べて低品質になってきたのでしょうか。それとも、これは単に、進みの速いエンピリカルな研究分野における累積研究の“通常の形”に過ぎないのでしょうか？
そして、おそらくそれ以上に重要なのは：
本当に強い（真に優れた）インクリメンタルなML PhDと、基本的には洗練されたベンチマーク論文の寄せ集めに過ぎないものとを分けるものは何なのでしょうか？
[link] [comments]
