注意力機制
Attention Mechanism
什麼是注意力機制?
- 專注於'此刻最重要的地方'的技法
- 也能捕捉相距較遠的字詞關係
- Transformer・LLM 的核心
注意力真正改變的是「距離」的問題。在早期結構中,整個句子被塞進一個固定長度的向量,模型只根據它來預測下一個字,因此越往前的資訊就越模糊。注意力讓每個 Token 都能直接查詢其他所有 Token,因此第 50 個字與第 1 個字的距離,和與相鄰字的距離被同等看待。結果,「摘要向量」這個瓶頸消失了,而且訓練也不必依序等待,可以一次平行運算。
實務上建議先把三種類型分開來看。同一句話中彼此參照的自注意力(self-attention)、把問題與參考文件這類兩組不同內容連結起來的交叉注意力(cross-attention),以及把同一計算拆成多個分支、分別負責語法、指涉對象與主題的多頭注意力(multi-head attention)。代價是運算量會隨輸入長度的平方成長。Token 數量變成 2 倍,注意力計算就會變成 4 倍,因此 32K 脈絡與 128K 脈絡的計價與回應速度完全不同。脈絡視窗越長,成本曲線就越陡峭,這正是提示詞設計的出發點。
現場最常出錯的地方,是「視窗很大,把資料全部放進去它就會自己看懂」這種想法。注意力是把有限的權重分配出去的結構,放入的文件越多,真正重要的句子所分到的份額就越少。長輸入中間位置的資訊,被反映得比前後更少,這種現象也屢屢被報告。參考資料的問題在於篩選,而不是數量。另外,注意力權重高,並不代表那就是模型的判斷依據。若把注意力圖擷取下來,並在稽核報告中附上「模型是看了這條條款才作答的」,那等於提交了一份沒有根據的說明。
2017 年 Google 研究團隊的論文《Attention Is All You Need》提出了以自注意力為基礎的 Transformer,成為現代 LLM 的基礎。
以假設案例來看。汽車零件製造商 A 公司(員工 1,180 人,年營收 KRW 420,000,000,000 (≈ US$314,357,100))把品質手冊與客戶規格書合併,開設了內部問答聊天機器人。開通三週後,品質保證組就湧入「同樣的問題每次答案都不一樣」的抱怨。找出原因花了六週。
- 負責 AI 專案小組的金次長,正把 320 頁的規格書整份貼進提示詞。團隊的前提是全部放進去,模型就會自己看出重點。
- 品質保證組 Lee 課長親自用 30 題測試,文件前 20 頁與末 15 頁的條件答得完全正確,但第 150 頁附近的熱處理允許誤差,3 次中有 2 次答錯。
- 以外部顧問身分加入的資料工程師 Park 責任表示:「不是模型偷懶,而是注意力分散了」,並建議把規格書以條款為單位切成 40 個區塊。
- 接受問題時,改為必須輸入適用工序與客戶名稱,並且只將檢索出的前 5 條相關條款放入。平均輸入 Token 數從 18 萬降到 9 千。
- 一個月後用同樣的 30 題重新測量,正確率從 61% 提升到 92%,平均回應時間從 14 秒縮短為 3 秒,每月 API 費用也從 KRW 7,800,000 (≈ US$5,840) 降到 KRW 1,200,000 (≈ US$900)。
金鍾赫
Seong-il Kim