温度 · サンプリング設定
Temperature (Sampling)
温度とは?
- 回答のランダム性・創造性の調整
- 低いほど一貫、高いほど多様
- 用途に合わせて設定
温度を動かすと、回答の内容より先に、同じ質問を10回投げたときに回答がばらける幅が変わります。0に近づけると10回のうち9回はほぼ同じ文章が出るため、検証と再現がしやすくなります。1を超えると文の構造や語彙の選択が毎回変わり、同じ結果を再び引き出すのが難しくなります。そのため実務では、温度は'賢さ'を上げるつまみではなく、成果物の再現性を調整するつまみです。知識量や推論能力は変わらず、ぶれの幅だけが調整されます。A/Bテストをするには、どちらの場合も値を書き留めて固定しておかないと、比較が成立しません。
値の範囲はモデルによって異なります。OpenAI系は0〜2、多くのオープンソースモデルは0〜1を使い、デフォルト値はおおむね0.7前後です。現場の目安としては、分類・抽出・要約・コードは0〜0.3、相談への回答や報告書の草稿は0.4〜0.7、ネーミング・スローガン・コンセプト発想は0.9〜1.2くらいが目安です。Top-pと混同しやすいのですが、温度は確率分布全体を平らにしたり尖らせたりする方向で、Top-pは累積確率の上位候補だけを残して切り捨てる方向です。両方を同時に強く動かすと効果が重なって制御しにくくなるため、通常はどちらか一方を固定しておき、もう一方を動かします。一般のチャット画面ではこの値は表示されず、APIやプレイグラウンドでのみ操作できる点も知っておく必要があります。
よくある誤解は、温度を0に下げれば間違ったことを言わないという考えです。温度は実は事実検証の仕組みではなく、表現のぶれを調整するつまみなので、0でもモデルは存在しない条文番号や判例を、確信に満ちた口調で述べます。むしろぶれがないため毎回同じ間違いを繰り返し、検証する人が誤りに気づかないということが起きます。逆に、社内規程の案内や見積もりの算出のように、答えが一つでなければならない業務にデフォルト値0.7をそのまま使うと、同じ質問に対して返金期限が7日と14日に分かれるという事故が起きます。温度0でも演算順序のために完全に同一の出力が保証されるわけではないので、規定の案内は温度ではなく、原文を一緒に添付する方式で対応すべきです。創造的な結果が必要なときも、温度を先に上げるより、プロンプトに条件や例を入れ替える方が失敗は少なくなります。
確率分布の「尖り」を調整する統計概念(ソフトマックス温度)に由来し、生成AIの出力の多様性を制御する標準的な設定として使われます。
仮想の事例で見ていきます。役職員240名、年間売上600億ウォン(約717,540万円)台の生活家電メーカーA社のCSチームの話です。相談チャットボットをAPIで接続した際、温度を初期値0.7のままで3か月運用しましたが、同じ「交換期限」の質問に対して回答が7日と14日に分かれ、2か月の間に誤案内のクレームが31件寄せられました。
- CSチームのパク チーム長が相談ログから同じ質問50件を抽出して照合したところ、返金規定の回答が4種類のバージョンに分かれていました。会議では'人の問題ではなく、設定の問題のようですね'という発言も出ました。
- 開発チームのキム課長は、規定案内の呼び出しだけ温度を0.2に下げ、回答の根拠として社内規定の原文の段落をそのまま貼り付けるようプロンプトを組み直しました。
- 同じ質問50件を再実行して再現性を確認したところ、規定の数値がずれた回答が11件から1件に減り、パク チーム長が運用への反映を承認しました。
- 一方、ノベルティのおすすめ文言は、温度を0.9に上げて1日20案を得て、マーケティングチームのイ代理がそのうち3案を実際のバナーコピーとして採用しました。
- 6週間後、交換・返金の誤案内に関するクレームは月15件から2件に減り、相談員が再確認していた二次対応時間も、1件あたり平均9分から4分に短縮されました。
金鍾赫(キム・ジョンヒョク)
パク・ヘラン