"なんとなく改善"からの脱却。Langfuseで作る、精度を改善し続けられるAI開発基盤

バクラク事業部ソフトウェアエンジニアのyataです。 生成AI機能、最近よく見ますよね。 現在では非常に多くのプロダクトに組み込まれ、日常的に触れることが当たり前になるほど世間に広まってきました。 ただ、今までの開発と同じコストや難易度でこの機能が実現できるわけではありません。 「精度は微妙だが、それっぽい挙動をするもの」は簡単に作ることができても、「お客様に継続的に使っていただける、安定した精度改善を続けられる機能」を作ることは、想像するよりもずっと難易度が高いと思っています。 なぜなら、確率的な挙動をとる生成AIのアウトプットから定量的な精度を測定するのは難しく、改善の効果が分かりに...