Transformer
Transformer
什麼是 Transformer?
- 一次掌握所有字詞之間的關係
- 注意力機制架構
- 現代生成式 AI 的基礎
最大的改變是訓練的經濟性。先前的結構必須等前一個字的運算結束,才能進入下一個字,因此即使插上再多 GPU,速度仍被'順序'所限制。Transformer 打破了這個順序限制,使在同一時間輸入數百倍的句子進行訓練成為可能;結果,實驗證實只要擴大模型規模與資料量,效能就會隨之提升,即規模定律(Scaling Law)。今日 AI 競爭演變為「誰能承擔更大的運算」,原因正在於此。
架構大致分為編碼器(Encoder)與解碼器(Decoder)兩部分。負責讀取句子、壓縮語意的是編碼器;逐一產生下一個Token的是解碼器。用於搜尋、分類的 BERT 系列只使用編碼器,而 GPT、Claude 等生成式模型,則是只取出解碼器、層層堆疊的形式。此外,Transformer 並不限於語言:把圖片切成小塊、當作 Token 處理的 ViT,以及語音辨識模型,也都採用相同的骨架。'Transformer = 聊天機器人'並不正確,它是處理序列的通用設計,先理解這一點,導入討論會順暢得多。
代價也很明顯。因為要計算每一對詞彙之間的關係,運算量會隨 Token 數的平方成長,輸入加倍時,注意力的運算成本大約會增至 4 倍。即使脈絡視窗已擴增到數十萬個 Token,把整份長文件一口氣塞進去,也不一定總是最省或最準確,原因正在於此。因此實務上多會搭配RAG,只找出需要的段落放入,或先將文件切段處理。
現場最常出錯的地方,是'視窗大就能全部讀完'的想法。在長篇輸入中,前後內容會被保留,中段則容易變得模糊,這是已知的現象。因此若貼上 200 頁的合約並要求擷取不利條款,夾在中段的違約條款會整段遺漏在摘要中。審閱者若將其標為「審閱完成」,事故就不會發生在會議室,而是在合約生效後爆發。長度是能容納的上限,而不是已讀取的保證。建議將這句話寫在內部指南的最前面。
2017 年,Google 研究團隊(Vaswani 等人)在論文「Attention Is All You Need」中提出。不靠遞迴或卷積、只用注意力機制處理序列的構想,此後成為幾乎所有大型 AI 模型的基礎。
以假設案例說明。國內工業用閥門製造商 A 公司,員工 320 人、年營收 KRW 89,000,000,000 (≈ US$66,613,800)。海外業務組每天以機器翻譯處理 140 件英文報價詢問,其中把 lead time 譯成「導線」這類誤譯,每月反覆出現 22 件。2024 年下半年,在主管提議下,開始了為期 8 週的內部 AI 應用教育。
- 海外業務組的金主管在第一堂課就投影出 12 封誤譯郵件,並問:'為什麼機器每次都把同一個字翻得不一樣?'
- 講師把同一份報價單分別放進兩種工具,並排展示一次掃過整句,還是從前往後一個字一個字讀,結果會出現什麼差異。
- 第三週,品管組李課長把 40 頁的規格書整份貼上,結果得到的是遺漏了中段 15 頁溫度條件的摘要,團隊也親眼確認了脈絡的極限。
- 之後他們制定了內部規則:將規格書依條款拆開後再提問,並加上雙重確認機制,金額、交期、數量這三個項目,一律由負責人與原文逐一直接比對。
- 8 週後,報價誤譯從每月 22 件降至 3 件,每件詢問的平均回覆時間也從 34 分鐘縮短為 12 分鐘。
金鍾赫
朴雪英