基礎模型
Foundation Model
什麼是基礎模型?
- 經過一次大規模預訓練的通用模型
- 廣泛應用於翻譯、摘要、程式開發等用途
- 現代 AI 的基礎
基礎模型改變的不是效能,而是AI 專案的起點。過去光是要做一個諮詢分類器,就得花上半年與專職人力進行資料蒐集與標註、訓練與驗證,業務標準一變就得從頭來過。如今直接透過 API 呼叫已訓練完成的模型,企業關心的問題因此從'要怎麼訓練?'轉為該選哪個模型、如何接上我們的資料?。成本性質也從一次性的開發費,變成每月的使用量費用;團隊所需的能力,也從「打造模型的能力」轉向「選擇、串接與驗證的能力」。
即使同屬基礎模型,也並非都一樣。有些不公開權重、只透過 API 提供的是封閉型;有些則可下載並部署到企業內部的伺服器,屬於公開權重型。另外,依是只接受文字,還是也能同時接受圖像與語音,又分為多模態等類型。將模型導入工作的方式分為三層,依序為提示詞、RAG、微調,成本與難度逐層攀升。與一般認知不同,把企業內部知識放進模型,應由 RAG 負責,而非微調;微調是在要固定「解題方式」時使用,例如語氣、輸出格式、分類標準。若忽略這點,可能花上數千萬 KRW 做微調,最後模型卻讀不懂昨天才改版的價目表。
現場最常出錯的地方,在於「一次設定好就沒事了」的想法。模型每隔幾個月就會升版,舊版會發出停用預告;版本一換,原本運作良好的提示詞可能悄悄改變輸出格式,導致後端系統整個停擺,這種事確實會發生。固定模型版本、並備妥迴歸測試組的團隊,才能無事故地完成這次切換。另一個常見的誤解是「這是通用模型,我們的業務它應該也會自己搞定」。但公司內規、產品程式碼與昨天才修訂的價目表都不在訓練資料裡,因此會得到看似合理卻錯誤的答案。沒有接上企業資料的基礎模型,只是一個聰明的外人。
2021 年,史丹佛大學人本 AI 研究所(HAI)將這類大型通用模型命名為「foundation model」,確立了這個概念。
以假設案例來說明。A 公司是員工 520 人、年營收約 KRW 180,000,000,000 (≈ US$134,724,500) 的工業用閥門製造商。海外客戶的技術諮詢每月湧入 700 件,員工得逐一翻找圖面與規格書,平均要 2.5 天才能完成第一次回覆。有人提議開發專屬 AI 模型,但報價為 KRW 800,000,000 (≈ US$598,800),開發期 12 個月。
- CTO Kim 常務在退回報價單時問道:「一年後,您能保證這個東西比商用模型更好嗎?」並指示應先進行為期兩週的模型比較測試。
- 技術銷售團隊主管抽出過去一年的海外詢問 200 筆,以相同的提示詞分別丟給三個模型,依實務人員的評分標準,答對率分別為 71%、64% 與 58%。
- 資訊策略團隊將排名第一的模型與14,000 筆圖面規格書與報價紀錄透過 RAG 串接,並暫緩微調。判斷依據是「知識靠檢索放進去,語氣只用提示詞來掌控」。
- 法務團隊在合約中明訂輸入資料不得用於學習的條款與資料處理地區,開發團隊則決定固定模型版本,並建立 120 題迴歸測試,每次更新都重新執行一次。
- 三個月後,首次回覆的前置時間由平均 2.5 天縮短為 4 小時;每月 token 費用僅 KRW 2,400,000 (≈ US$1,800),不到初期報價的二十分之一,而待處理的詢問積壓量減少 60%。
金鍾赫
Seong-il Kim