知識 · AI 基礎

超參數

Hyperparameter

📂AI 基礎⏱閱讀 2 分鐘📊進階🔗相關 4

什麼是超參數?

一句話定義
模型開始訓練前由人決定的設定值(學習率、層數等)。相當於烹飪的「火候與時間」。
此主題,企業內訓📚 相關課程💬 教育洽詢
⚡ 3 行重點摘要
  • 訓練前由人決定的設定值
  • 學習率、層數等
  • 大幅左右效能

超參數是在按下訓練鍵的那一刻就必須已經固定的數值,因此實際上改變的不是模型程式碼,而是整個實驗設計。即使結構一行都不動,只要把學習率調高 10 倍,損失就會發散、訓練被迫中斷;若調低 10 倍,原本三天就能完成的訓練,會變成三週的排程。團隊可用的 GPU 時數、雲端費用與交付期限,在這裡就先被決定了。

值的性質大致分成三類。決定學習方式的有學習率、批次大小、訓練週期數;決定模型結構的有層數、隱藏節點數、LoRA 秩(rank);抑制 過擬合 的則是 Dropout 比例與權重衰減係數。通常學習率會在 1e-3 到 1e-5 之間以對數尺度掃描,組合超過數十種時,就從網格搜尋改用隨機搜尋或貝氏最佳化。透過反向傳播自行更新的值是參數,由人工固定的值則是超參數,基本上要 明確劃分兩者;LLM 的 溫度 或 top-p 屬於推論階段的設定而非學習,因此另外區分管理。

調校不是無止盡地跑下去,而是要在預算內懂得停手的工作。將資料以訓練:驗證:測試 6:2:2 切分,只看驗證效能進行比較;若資料只有數千筆等規模較小,則以 5 摺交叉驗證確認平均值。把嘗試次數限制在 20~30 次,並事先以文件留下停止標準,例如「連續十次驗證指標提升不到 0.5 個百分點,就放棄該方向」,這樣日後才能重現誰以什麼設定得到了什麼結果。

現場最常出錯的地方,是用測試資料來調校。若不區分驗證集與測試集,用同一份資料比較數十次組合,那些數字其實是已經看過答案才拿到的成績,一上線效能就會崩盤。「照論文上的數值直接用」也是常見的誤解:資料規模與批次大小不同,同樣的學習率作用會完全不同。批次加倍時若沒有一併調整學習率,卻把原因歸咎於模型結構,往往會白白浪費好幾週。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
如同烹飪的火候與時間——食材(資料)相同,依這些設定不同,結果也會不同。
為什麼在實務上很重要
超參數會左右模型效能。即使資料相同,設定不同,結果也會大不相同。
由來與出處

在機器學習領域,這個詞已確立為指稱模型設計與訓練過程中 '不經學習、事先指定的數值' 的概念。

透過案例理解

我們用一個虛構的案例來看看。員工 240 人、年營收在 KRW 90,000,000,000 (≈ US$67,362,200) 上下的汽車零件製造商 A 公司,已經在沖壓設備異常偵測模型上卡了三個月。報告上的驗證準確率是 92%,但現場每天跳出 超過 30 次的誤報,班長們乾脆把警報關掉作業。

  1. 資料分析團隊的金課長打開 6 週內的 47 筆實驗日誌,發現所有組合的效能都只以同一份測試集分數互相比較,驗證集根本沒有切分出來。
  2. 外部顧問指出 '這 92% 其實是已經看過答案才答對的分數',於是先把設備日誌 8 萬筆,依訓練:驗證:測試 6:2:2 重新切分。
  3. 生產技術組長明確要求 '只用一張 GPU,兩週內完成',於是把組合限縮為 24 組,以隨機搜尋(random search)只掃描學習率 1e-3~1e-5、批次大小 32・64・128 的範圍。
  4. 批次大小加大到 128 的組合出現損失發散後,金課長同時把學習率降為四分之一重新實驗,並把 Dropout(丟棄法)從 0.2 提高到 0.4,連過度擬合也一併壓下。
  5. 以最終設定重新訓練的模型,報告上的測試準確率為 89%,數字下降了 3 個百分點;但現場誤報從每天 30 筆降到 6 筆,班長們兩週後就把警報重新開啟了。
相關術語
與此術語相關的課程
📚AI 代理實務入門Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

參數(權重)是模型自己「學習」的數值,超參數則是由人「指定」的設定值。
事先難以得知,因此要試驗多種組合(調校),找出驗證效能最佳的數值。
參數(權重)是模型自己「學習」的數值,超參數則是由人「指定」的設定值。
事先難以得知,因此要試驗多種組合(調校),找出驗證效能最好的數值。