知識 · AI 基礎

Transformer

Transformer

📂AI 基礎⏱閱讀 2 分鐘📊進階🔗相關 4

什麼是 Transformer?

一句話定義
一種神經網路架構,透過'注意力'機制一次掌握句子中所有字詞的關係。是今日生成式 AI 的基礎。
這個主題,也可以企業內訓的方式進行📚 相關課程💬 教育諮詢
⚡ 3 行重點摘要
  • 一次掌握所有字詞之間的關係
  • 注意力機制架構
  • 現代生成式 AI 的基礎

最大的改變是訓練的經濟性。先前的結構必須等前一個字的運算結束,才能進入下一個字,因此即使插上再多 GPU,速度仍被'順序'所限制。Transformer 打破了這個順序限制,使在同一時間輸入數百倍的句子進行訓練成為可能;結果,實驗證實只要擴大模型規模與資料量,效能就會隨之提升,即規模定律(Scaling Law)。今日 AI 競爭演變為「誰能承擔更大的運算」,原因正在於此。

架構大致分為編碼器(Encoder)與解碼器(Decoder)兩部分。負責讀取句子、壓縮語意的是編碼器;逐一產生下一個Token的是解碼器。用於搜尋、分類的 BERT 系列只使用編碼器,而 GPT、Claude 等生成式模型,則是只取出解碼器、層層堆疊的形式。此外,Transformer 並不限於語言:把圖片切成小塊、當作 Token 處理的 ViT,以及語音辨識模型,也都採用相同的骨架。'Transformer = 聊天機器人'並不正確,它是處理序列的通用設計,先理解這一點,導入討論會順暢得多。

代價也很明顯。因為要計算每一對詞彙之間的關係,運算量會隨 Token 數的平方成長,輸入加倍時,注意力的運算成本大約會增至 4 倍。即使脈絡視窗已擴增到數十萬個 Token,把整份長文件一口氣塞進去,也不一定總是最省或最準確,原因正在於此。因此實務上多會搭配RAG,只找出需要的段落放入,或先將文件切段處理。

現場最常出錯的地方,是'視窗大就能全部讀完'的想法。在長篇輸入中,前後內容會被保留,中段則容易變得模糊,這是已知的現象。因此若貼上 200 頁的合約並要求擷取不利條款,夾在中段的違約條款會整段遺漏在摘要中。審閱者若將其標為「審閱完成」,事故就不會發生在會議室,而是在合約生效後爆發。長度是能容納的上限,而不是已讀取的保證。建議將這句話寫在內部指南的最前面。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
同時掃過句中所有詞彙、掌握彼此關聯的結構——也是當今幾乎所有 LLM 的骨架。
為什麼在實務上很重要
為什麼 2020 年代以後 AI 突然變得這麼聰明?——其技術上的關鍵轉折,正是 Transformer。
由來與出處

2017 年,Google 研究團隊(Vaswani 等人)在論文「Attention Is All You Need」中提出。不靠遞迴或卷積、只用注意力機制處理序列的構想,此後成為幾乎所有大型 AI 模型的基礎。

出處 · Vaswani et al.,「Attention Is All You Need」(2017, Google) · 查看原文
透過案例理解

以假設案例說明。國內工業用閥門製造商 A 公司,員工 320 人、年營收 KRW 89,000,000,000 (≈ US$66,613,800)。海外業務組每天以機器翻譯處理 140 件英文報價詢問,其中把 lead time 譯成「導線」這類誤譯,每月反覆出現 22 件。2024 年下半年,在主管提議下,開始了為期 8 週的內部 AI 應用教育。

  1. 海外業務組的金主管在第一堂課就投影出 12 封誤譯郵件,並問:'為什麼機器每次都把同一個字翻得不一樣?'
  2. 講師把同一份報價單分別放進兩種工具,並排展示一次掃過整句,還是從前往後一個字一個字讀,結果會出現什麼差異。
  3. 第三週,品管組李課長把 40 頁的規格書整份貼上,結果得到的是遺漏了中段 15 頁溫度條件的摘要,團隊也親眼確認了脈絡的極限。
  4. 之後他們制定了內部規則:將規格書依條款拆開後再提問,並加上雙重確認機制,金額、交期、數量這三個項目,一律由負責人與原文逐一直接比對。
  5. 8 週後,報價誤譯從每月 22 件降至 3 件,每件詢問的平均回覆時間也從 34 分鐘縮短為 12 分鐘。
相關術語
與此術語相關的課程
📚AI 代理實務入門Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

Transformer 是'架構',LLM 則是以這個架構打造的'大型語言模型'。LLM 建立在 Transformer 之上。
因為它是掌握句中哪些詞彙彼此相關、進而理解脈絡的核心機制。
Transformer 是架構,LLM 則是以此架構打造的大型語言模型。
因為它能一次掌握句中所有詞彙之間的關係,使長脈絡的理解與平行訓練成為可能。