OptunaとLLMを組み合わせるとどうなるかを観察する

Zenn / 3/29/2026

💬 OpinionIdeas & Deep AnalysisTools & Practical Usage

共有:

Key Points

Optuna（ベイズ最適化）とLLMを組み合わせ、LLM側の出力品質やタスク性能を評価指標として探索・改善する考え方を観察する内容です。
LLMには複数の設定軸（プロンプト、温度、候補生成数、プロセス手順など）があり、それらをOptunaで自動的に調整できる可能性が示唆されています。
反復ごとにLLMを評価する設計になるため、コスト・レイテンシ・評価の安定性（再現性）といった実運用上の論点が前面に出ます。
「探索（Optuna）×生成（LLM）」という役割分担によって、手作業のチューニングから計測ベースの最適化へ移せる点がポイントです。

はじめに LLMをOptunaのオーケストレーターとして使い、サイクルごとにそれまでの結果をLLMに渡して探索範囲の更新と継続・停止の判断をさせると、Optunaのみと結果が変わるかを試してみました。 ! 個人の実験のため、参考程度にお願いします。各条件のOptunaはseed固定なしで実行しているため、初期探索のランダム性が結果に影響している可能性があります。実験データと評価指標クレジットカード不正検知（Credit Card Fraud Detection）で、詐欺率0.17%のデータを使い、RandomForestClassifierのハイパーパラメタをF1で...

Continue reading this article on the original site.

Read original →