これまでに、10行のプロンプトで済んだかもしれない何かを解くために、エレガントで複雑なMLパイプラインを作ったことがあるなら...これはあなたのための記事です。
有用な研究をする人と、見栄えのする研究をする人を分けているものは何かを考えてきました。ほとんどの場合、それは生の技術力ではなく「選ぶ問題」です。
私がたどり着いたメンタルモデルはこれです。あらゆる問題はだいたい次の手順を踏みます：
- 人々が実際に気にしている、明確な問題を見つける
- まずは一番バカ正直な解決策を試す。単純なプロンプトでこれを解けるか？できるなら、それで終わり
- もし無理なら、次に研究としての解決策を考える
- それが今しんどいなら、スコープを絞る。問題のうち、実際に解けるのはどの部分か？
研究のセンスとは、(a)複雑な解決策で単純な問題を解いてしまって導線を踏み外すことや、(b)その分野がまだ準備できていない難しい問題に行き詰まることを避けることに尽きます。
難しいのは、センスがたいてい摩擦によって作られることです。押し返してくる良いアドバイザー、 「待って、なんで単に...じゃダメなんでしょう？」と聞いてくる共同研究者、過度に複雑なベースラインを指摘する査読者。多くの人にはそれがありません。
だから、共同研究者が限られている状況で実証研究をしている人は、どうやって自分のやり方を正直に保つのでしょう？過剰に設計し込みすぎないためのコツや工夫、どんな問題が追いかける価値があるのかの見極め、スコープを絞るべきかそれとも押し通すべきかを判断する方法など、教えてください。教科書的な答えではなく、実際にうまくいったことを聞きたいです。
[link] [comments]
