みなさん、こんにちは。
私は一般的にリソース管理に関心があり、特に、ある回答に対してトークンコストを抑えることに注目しています。そこで、単純な問いをめぐるKaggleのコンペを立ち上げました。その問いとは、小さなモデルを実行すべきかどうかです。より良い意思決定のために、今後は時間をかけてさらにモデルを追加していく予定です。
こちらがコンペです： https://www.kaggle.com/competitions/llm-scheduling-competition
アイデア：
- MMLUベンチマークから問題が出題されます
- 答える代わりに、次を判断します：
2b→ 小さなモデルを実行するnone→ スキップする
そして コストベースの指標 があります：
- モデルを実行すると計算コストがかかる
- 失敗したときに実行するのは高くつく
- うまくいったはずのときにスキップすることもペナルティになる
したがって目標は 加重コストを最小化する ことです。
現状の設定はかなり単純で、モデルを実行するコストはまだ考慮されていません。それでも、正しい方向への第一歩になるかもしれません。
みなさんがどんな工夫を考えるのか楽しみです—ルール、分類器、あるいはもっと創造的な何か。
アイデアの議論や質問への回答も大歓迎です！
[link] [comments]
