溫度 · 取樣設定
Temperature (Sampling)
什麼是溫度?
- 調整回答的隨機性與創意程度
- 溫度低時前後一致,溫度高時答案多元
- 依用途設定
調整溫度時,比起答案的內容,同一個問題問十次時答案分歧的幅度會先改變。設在接近 0,十次中有九次幾乎是相同的句子,便於檢核與重現;超過 1,句子結構與用詞每次都會不同,就很難再得到相同結果。因此在實務上,溫度不是提升「聰明程度」的把手,而是調控結果可重現性的把手。知識量與推理能力不變,只改變波動的幅度。另外,要做 A/B 測試,不論哪一邊都要記下數值並固定,比較才成立。
數值範圍因模型而異。OpenAI 系列為 0~2,多數開源模型為 0~1,預設值大致在 0.7 左右。依現場經驗,分類・擷取・摘要・程式碼設 0~0.3,諮詢回覆或報告初稿設 0.4~0.7,命名・口號・概念發想設 0.9~1.2 左右。溫度容易與 Top-p 混淆:溫度是讓整體機率分布變平或變尖,Top-p 則是只保留累積機率前段的候選,其餘切掉。兩者同時大幅調整,效果會互相疊加,難以掌控,因此通常固定其中一個,只調整另一個。另外要留意,一般聊天畫面不會顯示這個數值,只能在 API 或 Playground 中調整。
最常見的誤解是以為把溫度調到 0 就不會說錯話。溫度並不是事實查核的機制,只是調節表達起伏的旋鈕。即使在 0,模型仍可能用肯定的語氣說出不存在的條款編號或判例。反而因為沒有起伏,每次都以相同方式出錯,審核者可能因此察覺不到錯誤。相反地,規章說明或報價計算這類必須只有一個答案的工作,若沿用預設值 0.7,同一個問題就可能出現退款期限一下是 7 天、一下是 14 天的事故。即使溫度為 0,因運算順序的關係,輸出也不能完全保證相同,所以規定說明應附上原文,而不是靠溫度來處理。需要創意時,比起先調高溫度,在提示詞中換入條件與範例,失敗通常較少。
此詞源自調整機率分布「尖銳度」的統計概念(softmax 溫度),如今是控制生成式 AI 輸出多樣性的標準設定。
以下以假設案例說明。員工 240 人、年營收約 KRW 60,000,000,000 (≈ US$44,908,200) 上下的生活家電 A 公司客服團隊的故事。將客服聊天機器人以 API 接入後,溫度維持預設的 0.7 營運了三個月,結果同樣是問「換貨期限」,回答卻分成 7 天與 14 天兩種,兩個月間收到 31 件錯誤告知的客訴。
- 客服團隊的朴主管比對客服紀錄,抽出 50 則相同問題後發現,退款規定的回答分成四種版本,會議上有人說:「感覺不像是人的問題,比較像設定的問題。」
- 開發團隊的金課長將僅限規章諮詢的呼叫降到溫度 0.2,並重新設計提示詞,要求回答時直接附上內部規章原文段落作為依據。
- 同一問題重跑 50 次確認可重現性,規定數字出錯的回答從 11 則降到 1 則,朴組長因此核准導入營運。
- 相反地,贈品推薦文案把溫度調到 0.9,一天取得 20 則以內,行銷團隊的李代理從中採用了 3 則作為實際橫幅文案。
- 六週後,換貨・退款錯誤說明的客訴從每月 15 件降到 2 件,客服人員重新確認的二次應對時間,也從每件平均 9 分鐘縮短為 4 分鐘。
金鍾赫
Hye-rang Park