「step by step」は本当に精度が上がるのか — CoTとSelf-Consistencyをミニベンチで検証する
Zenn / 2026/3/13
💬 オピニオンIdeas & Deep AnalysisTools & Practical Usage
要点
- CoTとSelf-Consistencyは推論を改善する可能性があるが、効果はタスクとプロンプト設計に依存する。
- ミニベンチの設定で段階的推論とSelf-Consistencyの比較を行い、どの状況で有効かを検証。
- すべてのケースで精度が上がるわけではなく、タスクの性質に応じて手法を使い分けるべきとの示唆。
- 実務上の示唆として計算コストやデータに基づく適切な戦略選択が重要。
- 推論戦略の比較フレームワークを提供し、モデル・データセット横断の評価を促進する。
はじめに
ルミナイR&Dチームの栗原です。
同じ LLM に同じ問題を解かせても、
そのまま聞く
step by step とお願いして Chain-of-Thought（CoT）させる
CoT を何回かやらせて 多数決 をとる（Self-Consistency）
まず「考え方」を自分で決めさせてから解かせる（Self-Discover 風）
といった プロンプトの違いだけ で、正答率がけっこう変わります。
本記事は、Wang らの論文
“Self-Consistency Improves Chain of Thought Reasoning in Language M...
この記事の続きは原文サイトでお読みいただけます。
原文を読む →
