皆さんの気持ちがどうかは分かりませんが、LLMが始まる前から、多くの論文はすでに経験的な知見、アーキテクチャの設計、そしていくつかの損失関数の変更に依拠しています。もちろん、これらに数学が不要というわけではありませんが、コミュニティの一部は数学中心の時代から離れてきているように感じます。強化学習、最適化など、難しい数学に焦点を当てている分野はまだあります。
そしてLLM以降、多くの論文は既存のシステムの単なるパイプラインになっていて、数学はほとんどありません。
このトレンドについてどう思いますか？
編集：私の考えです。数学は理論の部分では重要だと思いますが、純粋な理論から、より経験的なものへと分野が移っていくのは良いことだと思います。現実の生活により応用できる分野になっていくからです。ただ、現在のMLシステムにどれだけ数学があるかについて、多くの人が過大に言いすぎているとも思います。
[link] [comments]
