LLM · 大型語言模型
Large Language Model
什麼是 LLM?
- 以大量文字學習,預測'下一個詞'
- 生成句子的大型神經網路
- ChatGPT、Claude 的大腦
LLM 真正改變的不是回答的品質,而是交辦工作的方式。過去即使只想做一個把客服信件依類型分類的功能,也得用程式寫規則、逐一登錄例外;現在只要用指令與幾個範例,就能開始做同樣的事。因此自動化的起點,已從開發部門轉移到最熟悉業務的實務人員手上。不過,成果的品質不再取決於程式碼,而取決於文字本身,判斷哪些內容可以放心輸出的責任,也一併落到了現場人員身上。
在實務上至少要分清三件事。模型一次能讀取的分量稱為上下文視窗,依產品不同,從數萬到數十萬 Token 不等(中文大致一字約為一個 Token);放進去的資料會在該次對話結束後消失。訓練資料有截止時點,因此它不知道上個月修訂的內部規範或本季的價目表。要讓 AI 掌握公司知識,方法分為直接放進提示詞、以 RAG 檢索後補充,以及以 微調固定語氣與格式三種。若目標是準確度,通常應先採用 RAG,微調則排在後面。
現場最常出錯的地方,是'只要放入我們的資料,就等於學會了'的誤解。貼在對話視窗裡的文件並不會被學習,只是暫時讓它看過而已,關掉視窗後,模型就不知道那些內容。另外,LLM 既不是計算機也不是資料庫,因此銷售合計或庫存數量這類數字,會以看似合理的方式算錯。同一個問題每次得到不同答案也不是故障,而是依機率接續文字的結構本來就如此。若不了解這點,直接把答案搬進給客戶的報價單或合約條文,不存在的條款或已停產的型號就會原樣寄出,最後只能先寫道歉信。
| 比較 | LLM(大型) | sLM(小型) |
|---|---|---|
| 規模 | 數百億以上參數 | 相對較小 |
| 優點 | 通用・高效能 | 低成本・快速・裝置端 |
| 成本 | 高 | 低 |
| 用途 | 複雜多樣的工作 | 特定用途微調 |
現今 LLM 的基礎架構 Transformer,於 2017 年由 Google 研究團隊在論文《Attention Is All You Need》中提出,GPT、Claude、Gemini 等模型都是建立在此架構之上。
以虛構案例來看。A 公司經營工業零件,員工 210 人,年營收約 KRW 120,000,000,000 (≈ US$89,816,300)(1,200 億韓元)規模。客服組 6 人每天要處理約 140 件技術詢問信件,旺季時回覆經常延後兩天,業務部門的抱怨也持續增加。3 個月間,他們進行了以 LLM 產生回覆草稿的實驗。
- 客服主管分析近 3 個月的 4,200 封信件,依類型分類後發現,62% 是規格・相容性詢問,而且答案早已完整收錄在產品型錄中。
- 資訊系統科長把整本型錄貼進去請它回答,結果得到的答案是:把已停產兩年的機型,當成現行庫存來說明。
- 因此把公司內約 900 份 PDF 先做搜尋,只挑出相關段落一併輸入,並在回答末尾附上來源文件名稱與頁碼。
- 業務本部長明確規定'沒有出處的答案絕不輸出',因此找不到依據時,系統只會顯示'需負責人確認',不會產生草稿。
- 三個月後,每件案件的平均回覆時間從 18 分鐘縮短為 6 分鐘,幾乎照原稿發出的比例為 74%,退回的錯誤回覆信件則從每月 31 件降為 7 件。
金鍾赫
朴雪英