推論模型
Reasoning Model
什麼是推論模型?
- 不急著作答,而是「先想過」
- 擅長數學、邏輯與程式設計
- 善用測試時運算(test-time compute)
推理模型真正改變的,不是效能表上的數字,而是提問的方式。即答型模型時,我們習慣簡短提問、不滿意就再問一次;推理模型則是一次把條件、限制與例外狀況全部交給它,連檢核本身都整個託付出去。提示詞變長,來回次數變少。工作習慣因此轉向一次深入提問的方式。但回覆往往要花數秒到數分鐘,若直接接在回應速度就是品質的即時諮詢窗口上,使用者一開始就會流失。
各產品名稱不同,但大多可以把推論深度分為低、中、高等級來選擇。提高深度時,模型內部產生的「推論 token」會增加,而這些 token 同樣計費。這就是為什麼畫面上的回答只有十行,帳單上卻出現數千個 token。另外,畫面上顯示的思考過程多半是摘要,若期待以此作為稽核依據,完整的推論紀錄恐怕不切實際。
在提示詞中寫下「請逐步思考」,與使用推論模型並不相同。前者是讓即答型模型模仿思考的步驟;後者則是使用從訓練階段就設計為長時間推敲的模型。它與搜尋、RAG 的角色也不同。推論模型擅長推敲既有資訊,卻無法查出不知道的事實。公司內規或最新單價,必須一併當作資料提供,它才能推敲得準確。
現場最常出錯的地方,是「模型既然好,就全部丟到這裡」的判斷。像會議紀錄摘要、翻譯、郵件草稿這類單純工作,即使使用推理模型,結果幾乎相同,回應卻慢上好幾倍,成本也大幅攀升。想得久,答案就一定正確的想法同樣危險。計算與邏輯雖然進步,但捏造不存在的條文或出處的問題依然存在。把它接到批次作業上,若逾時設為 60 秒,越困難的題目越容易在回應途中中斷,結果就發生最重要的項目反而沒有結果的狀況。
承接思維鏈(2022)的研究脈絡,2024 年前後出現了「將更多運算投入推論」的推論專用模型,大幅提升了複雜任務的表現。
舉個假設的案例。生產工業閥門的 A 公司,全體員工 320 名、年營收 KRW 180,000,000,000 (≈ US$134,724,500) 規模。海外經銷商每月傳來約 400 件報價請求,數量區間折扣、匯率與物流費用交錯,每月算錯的案件多達 27 件。報價單得重寄,業務進度也一再延後一天。
- 採購支援組金課長檢視過去三個月的 27 筆錯誤後發現,其中 22 筆都是像「套用折扣後再反映匯率」這類涉及兩個步驟以上計算的案例。
- 把同樣的 30 筆報價丟給既有的即答型模型,有 9 筆算錯;條件照給的推論模型則只錯 1 筆。
- IT 支援組的 Park 組長特別強調:「全部都送推論模型,成本扛不住。」於是訂出分流規則:品項三種以下、單一貨幣的案件留給既有模型,只把多貨幣、多段折扣的案件轉給推論模型。
- 回應平均要 40 秒,業務畫面看起來像當機,於是改成受理後立即放入佇列,結果產出時再跳出通知的方式。
- 六週後,計算錯誤從每月 27 件降到 4 件,每筆報價的檢查時間也從 40 分鐘縮短為 12 分鐘。API 費用從每月 KRW 180,000 (≈ US$135) 增加到 KRW 460,000 (≈ US$345),但原本耗在返工上的業務人力成本遠高於此。
- 複雜的數學、邏輯或程式設計問題
- 需要多步驟推論時
- 準確度比速度更重要的時候
- 簡單摘要、分類等輕量工作
- 需要即時回應、低成本時
- 不需要推理的標準化作業
金鍾赫
Seung-tae Park