知識 · AI 基礎

LLM · 大型語言模型

Large Language Model

📂AI 基礎⏱閱讀 2 分鐘📊入門🔗相關 5

什麼是 LLM?

一句話定義
以大量文字學習,預測'接下來會出現的字'並生成句子的大型語言模型(Large Language Model),即大型神經網路。ChatGPT、Claude 的大腦。
與本主題相關,納入企業內訓📚 相關課程💬 課程洽詢
⚡ 3 行重點摘要
  • 以大量文字學習,預測'下一個詞'
  • 生成句子的大型神經網路
  • ChatGPT、Claude 的大腦

LLM 真正改變的不是回答的品質,而是交辦工作的方式。過去即使只想做一個把客服信件依類型分類的功能,也得用程式寫規則、逐一登錄例外;現在只要用指令與幾個範例,就能開始做同樣的事。因此自動化的起點,已從開發部門轉移到最熟悉業務的實務人員手上。不過,成果的品質不再取決於程式碼,而取決於文字本身,判斷哪些內容可以放心輸出的責任,也一併落到了現場人員身上。

在實務上至少要分清三件事。模型一次能讀取的分量稱為上下文視窗,依產品不同,從數萬到數十萬 Token 不等(中文大致一字約為一個 Token);放進去的資料會在該次對話結束後消失。訓練資料有截止時點,因此它不知道上個月修訂的內部規範或本季的價目表。要讓 AI 掌握公司知識,方法分為直接放進提示詞、以 RAG 檢索後補充,以及以 微調固定語氣與格式三種。若目標是準確度,通常應先採用 RAG,微調則排在後面。

現場最常出錯的地方,是'只要放入我們的資料,就等於學會了'的誤解。貼在對話視窗裡的文件並不會被學習,只是暫時讓它看過而已,關掉視窗後,模型就不知道那些內容。另外,LLM 既不是計算機也不是資料庫,因此銷售合計或庫存數量這類數字,會以看似合理的方式算錯。同一個問題每次得到不同答案也不是故障,而是依機率接續文字的結構本來就如此。若不了解這點,直接把答案搬進給客戶的報價單或合約條文,不存在的條款或已停產的型號就會原樣寄出,最後只能先寫道歉信。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
憑藉驚人的閱讀量,精準猜中'接下來會出現的話'——就這樣把句子寫出來。
為什麼在實務上很重要
生成式 AI 的核心。了解 LLM 的運作原理,才能更好地駕馭提示、RAG 與幻覺問題。
LLM 對比 sLM(小型語言模型)
比較LLM(大型)sLM(小型)
規模數百億以上參數相對較小
優點通用・高效能低成本・快速・裝置端
成本高低
用途複雜多樣的工作特定用途微調
由來與出處

現今 LLM 的基礎架構 Transformer,於 2017 年由 Google 研究團隊在論文《Attention Is All You Need》中提出,GPT、Claude、Gemini 等模型都是建立在此架構之上。

出處 · Vaswani et al.,「Attention Is All You Need」(2017, Google) · 查看原文
透過案例理解

以虛構案例來看。A 公司經營工業零件,員工 210 人,年營收約 KRW 120,000,000,000 (≈ US$89,816,300)(1,200 億韓元)規模。客服組 6 人每天要處理約 140 件技術詢問信件,旺季時回覆經常延後兩天,業務部門的抱怨也持續增加。3 個月間,他們進行了以 LLM 產生回覆草稿的實驗。

  1. 客服主管分析近 3 個月的 4,200 封信件,依類型分類後發現,62% 是規格・相容性詢問,而且答案早已完整收錄在產品型錄中。
  2. 資訊系統科長把整本型錄貼進去請它回答,結果得到的答案是:把已停產兩年的機型,當成現行庫存來說明。
  3. 因此把公司內約 900 份 PDF 先做搜尋,只挑出相關段落一併輸入,並在回答末尾附上來源文件名稱與頁碼。
  4. 業務本部長明確規定'沒有出處的答案絕不輸出',因此找不到依據時,系統只會顯示'需負責人確認',不會產生草稿。
  5. 三個月後,每件案件的平均回覆時間從 18 分鐘縮短為 6 分鐘,幾乎照原稿發出的比例為 74%,退回的錯誤回覆信件則從每月 31 件降為 7 件。
相關術語
相關 AI 工具
與此術語相關的課程
📚ChatGPT、AI 工具教育Nanum 經營顧問 企業內訓 · 面授/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

LLM 是處理'語言'的生成式 AI 的一種。圖像、語音生成模型則屬於另一類。
通常效能較高,但成本與速度也會增加。依工作選擇適當大小的模型,才是實務上的判斷力。
LLM 是生成式 AI 中代表性的'語言'模型。生成式 AI 的範圍更廣,還包括圖像與語音。
不一定。重點在於是否符合工作所需的規模。也有許多小型但效率很高的模型。