思維鏈 · CoT
Chain of Thought
什麼是思維鏈?
- 讓 AI 以 '逐步推導解題過程' 的方式思考
- 提升複雜推理準確度↑
- 透過提示詞誘導
CoT 改變的不只是正確率。原本一整塊的答案,被拆成可以檢核的多行,承辦人就能說出的不是「這個答案錯了」,而是「第三步的匯率錯了」。不必整份丟掉重來,而是只指出錯的那一步來修正,把檢核標準從結果移到過程的那一刻起,實務上的品質管理才有可能。
常見的做法大致有兩種。一種是在指令結尾加上一句「請逐步解題」的零樣本(zero-shot)方式,另一種是事先附上兩三個寫有解題過程的範例,也就是 少樣本(few-shot)方式。若公司內部有固定的計算順序或規定適用順序,後者會穩定得多。也有人會把同一題重複執行三到四次,用多數決選出最終答案,這稱為自我一致性(self-consistency)。不過,已針對推論特別優化的最新模型本身就會在內部逐步推演,即使再加上「請仔細思考」,效果也有限,反而會讓回應的 token 成倍增加,費用與回應延遲都可能變大。
效果也不會平均出現在所有工作上。需要組合條件計算,或依序套用規定的工作,差異明顯;但翻譯或潤飾文句這類沒有中間步驟的工作,只會讓篇幅變長。能否把問題拆成步驟,是判斷能否套用的標準。另外,要求寫出步驟,與把輸出格式固定成表格是不同的事——後者只是要求整理得好看,而指定思考順序的才是 CoT。
最常見的誤解是,以為畫面上展示的推理過程就是 AI 真正的依據。模型有時會先寫出看似合理的過程,再據此為錯誤的答案辯護。過程越流暢,檢核者越容易鬆懈,這點更危險。只差一個數字的報價單,會因為邏輯看起來通順而通過核准。因此,必須同時建立將中間步驟的數字與價目表、帳本對照的流程,而寄給客戶的文件最好不要附上推理過程。
2022 年,Google 研究團隊(Jason Wei 等人)在論文「Chain-of-Thought Prompting Elicits Reasoning in Large Language Models」中提出。研究證明,讓模型生成中間推理步驟,能大幅提升大型模型的推理表現。
以假設案例來說明。A 公司是員工 180 人、年營收約 KRW 90,000,000,000 (≈ US$67,362,200) 上下的工業零件經銷商,其業務支援團隊在一份報價單中,要疊加計算各數量區間的折扣、匯率與海運費。把條件輸入公司內部的 AI 聊天機器人,1 秒內就能得到答案,但上個月抽查 40 件後發現,有 9 件的最終金額算錯。因重寄更正的情況不斷重演,組長便排定了一項為期三週的改善專案。
- 業務支援組金課長在原本提示詞結尾加上一句:「依序列出各步驟金額:折扣套用 → 匯率換算 → 運費加計,最後給出總計」,然後重新執行。
- AI 一口氣列出單價、區間折扣率與匯率套用值後,檢核者不再只瀏覽總額,而是開始從標註匯率基準日的第三行起逐一確認。
- 三天後原因就查明了。9 件錯誤中有 7 件是折扣被扣了兩次,組長於是把 '折扣只套用一次' 寫成固定的提示詞句,嵌入提示中。
- 單價表不變的單純再購案件,我們乾脆不使用 CoT。因為前兩週每件的回應 token 增為三到四倍,每月 API 費用暴增超過 40%。
- 3 週後以同樣方式檢核 40 筆,錯誤從 9 筆降到 2 筆,報價重寄從每週 11 筆降到 3 筆,每筆檢核時間也從平均 6 分鐘降到 2 分多鐘。
金鍾赫
Ara Lim