プロンプト、手直す時代を、ぶっ壊す👍——DSPyで始める自動チューニング

はじめに こんにちは！ 株式会社エクスプラザのhyodoです！ LLMを使ったアプリケーションを開発していて、こんな経験はありませんか？ 「プロンプトちょっと変えたら精度が上がった！……と思ったら別のケースで壊れた」 「GPT-4oで動いてたプロンプト、Claude に変えたら全然ダメだった」 「few-shot例を何パターンも手で試してるけど、どれがベストか分からない」 プロンプトチューニングは、やればやるほど「これ人間がやる仕事なのか？」という気持ちになります。評価基準もあいまいで、改善したつもりが別の場所で劣化してることに後から気づく。モデルをアップデートしたら最初からやり...