こんにちは、研究に入り込もうとしている新入生です。
この先の夏に向けて、自国の有名な大学の研究室に採用（入室）されました。そして教授から、「ハードウェアに寄せた機械学習のトピック」については、多くの他の人よりも"より適した立場にいる"と言われました。いくつか問題に直面していて、経験のある研究者の方々がそれらにどう対処するのか知りたいです：
「開かれているもの」と「開かれているように見えるだけのもの」の直感を、どうやって育てますか？ 研究分野を見ると、すべてがすでに解決済みか、あるいは途方もなく曖昧に見えます。私にはまだ、その中間が見えていません。このことが気になります。
それぞれのアイデアが、すでにどこかでやられているか、あるいは十分に良くないかのどちらかだと感じてしまうのを、麻痺させないようにするにはどうしますか？
自分が「思いついた」もののうち、すでに行われているもの： PQCache、async KVCache のプリフェッチ、GQAデコードフェーズに対する roofline モデリング..など。
「今後の課題にはXを含む」と書かれた論文はあるのですが、これはXがオープンだ（未解決だ）と言っているのとは同じではないですよね？ 誰かが先月すでにXをやったがまだ公開していないかもしれませんし、Xはオープンだけれど実行が難しいのかもしれませんし、Xはオープンだけれど私が持っていない設備が必要なのかもしれません。どれなのか知る手段がありません。さらに、私が取り組みたいものが、3つの異なるコミュニティでそれぞれ別の名前で存在している可能性があり、間違った名前で検索すると、それが実際にはオープンではないのにオープンだと結論してしまいます。（Web検索付きのLLMは少し役に立つようです）
すでに調べてみたRedditのスレッド：
- https://www.reddit.com/r/MachineLearning/comments/1sayptq/d_physicistturnedmlengineer_looking_to_get_into/
- https://www.reddit.com/r/MachineLearning/comments/1nsvdqk/d_machine_learning_research_no_longer_feels/
- https://www.reddit.com/r/MachineLearning/comments/kw9xk7/d_has_anyone_else_lost_interest_in_ml_research/
この分野で働きたい動機は、科学のためのAIの取り組みを加速しつつ、より手頃なものにしたいからです。
[link] [comments]
