OptunaとLLMを組み合わせるとどうなるかを観察する
Zenn / 2026/3/29
💬 オピニオンIdeas & Deep AnalysisTools & Practical Usage
要点
- Optuna（ベイズ最適化）とLLMを組み合わせ、LLM側の出力品質やタスク性能を評価指標として探索・改善する考え方を観察する内容です。
- LLMには複数の設定軸（プロンプト、温度、候補生成数、プロセス手順など）があり、それらをOptunaで自動的に調整できる可能性が示唆されています。
- 反復ごとにLLMを評価する設計になるため、コスト・レイテンシ・評価の安定性（再現性）といった実運用上の論点が前面に出ます。
- 「探索（Optuna）×生成（LLM）」という役割分担によって、手作業のチューニングから計測ベースの最適化へ移せる点がポイントです。
はじめに
LLMをOptunaのオーケストレーターとして使い、サイクルごとにそれまでの結果をLLMに渡して探索範囲の更新と継続・停止の判断をさせると、Optunaのみと結果が変わるかを試してみました。
!
個人の実験のため、参考程度にお願いします。
各条件のOptunaはseed固定なしで実行しているため、初期探索のランダム性が結果に影響している可能性があります。
実験
データと評価指標
クレジットカード不正検知（Credit Card Fraud Detection）で、詐欺率0.17%のデータを使い、RandomForestClassifierのハイパーパラメタをF1で...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →
