AI と確率:温度・top-p・top-k の意味と使い分け

AI Navigate Original / 2026/4/27

💬 オピニオンIdeas & Deep AnalysisTools & Practical Usage
共有:

要点

  • LLM は確率分布からサンプリング、温度/top-p/top-k で制御
  • 低温は決定的(分類)、高温は創造的(物語)
  • 温度と top-p は片方だけ動かす、seed 固定で再現性
  • モデル毎に挙動が違い API デフォルトを確認

LLM は同じ質問に対して、毎回まったく同じ答えを返すとは限りません。これは内部で「次に来る単語の確率」を計算したあと、その確率にしたがってくじを引くように一語ずつ選んでいるからです。このくじの引き方を調整するのが温度(temperature)・top-p・top-k。本記事では、それぞれが確率に何をしているのかを図で押さえ、用途ごとの具体的な設定値まで一気に整理します。

入力(文脈) 確率分布 を計算 候補すべてに% サンプリング (くじ引き) 温度・top-p・top-k 次の1語

FIG.1 LLM は確率分布を作り、そこから1語を引く。温度・top-p・top-k はこの「引き方」を変える

大事なのは、これら3つはくじの引き方を変えるだけで、モデルの知識そのものを変えるわけではないこと。「賢くする設定」ではなく「堅実に行くか、冒険させるか」を選ぶダイヤルだと考えてください。

01温度(Temperature):分布のとがり具合を変える

温度は、確率分布をとがらせる(自信のある候補にさらに偏らせる)か、なだらかにする(候補を横並びに近づける)かを決めます。仕組みは単純で、各候補のスコア(logit)を温度 T で割ってから確率に変換します。T を小さくすると差が拡大して1位が独走し、T を大きくすると差が縮まって下位にもチャンスが回ります。

低温(T=0.3):とがる 本命 高温(T=1.2):なだらか 本命

FIG.2 同じ素の確率でも、低温は本命に集中し、高温は下位候補にも確率が回る

「日本の首都は」の次に来る単語で見る

素の確率が「東京 0.95/京都 0.03/大阪 0.01/その他 0.01」だったとします。温度を変えると、選ばれやすさは次のように動きます。

候補素の確率T=0.3(低温)T=1.0(そのまま)T=1.8(高温)
東京0.95ほぼ1.00.950.68
京都0.03ごく僅か0.030.16
大阪0.01ほぼ00.010.10
その他0.01ほぼ00.010.06

低温では本命がさらに盤石になり、毎回ほぼ同じ答えになります。高温では「京都」「大阪」のような本来ありえない答えにも確率が回り、出力がばらつきます。事実を聞く用途で高温が危ないのはこのためです。

温度の目安(用途別)

  • 0.0:毎回ほぼ同じ最尤の答え。分類・抽出・テスト向き。
  • 0.0〜0.3:ほぼ決定的。事実確認、要約、データ抽出。
  • 0.5〜0.7:標準。チャット、Q&A、コード生成。

続きを読むには無料登録が必要です

アカウントを作成すると、オリジナル記事の全文をお読みいただけます。