知識 · AI 基礎

注意力機制

Attention Mechanism

📂AI 基礎⏱閱讀 2 分鐘📊進階🔗相關 3

什麼是注意力機制?

一句話定義
在輸入的各個部分中,更專注於「此刻重要之處」的神經網路技術。是 Transformer 與現代 LLM 的核心。
此主題,導入企業內訓📚 相關課程💬 教育洽詢
⚡ 3 行重點摘要
  • 專注於'此刻最重要的地方'的技法
  • 也能捕捉相距較遠的字詞關係
  • Transformer・LLM 的核心

注意力真正改變的是「距離」的問題。在早期結構中,整個句子被塞進一個固定長度的向量,模型只根據它來預測下一個字,因此越往前的資訊就越模糊。注意力讓每個 Token 都能直接查詢其他所有 Token,因此第 50 個字與第 1 個字的距離,和與相鄰字的距離被同等看待。結果,「摘要向量」這個瓶頸消失了,而且訓練也不必依序等待,可以一次平行運算。

實務上建議先把三種類型分開來看。同一句話中彼此參照的自注意力(self-attention)、把問題與參考文件這類兩組不同內容連結起來的交叉注意力(cross-attention),以及把同一計算拆成多個分支、分別負責語法、指涉對象與主題的多頭注意力(multi-head attention)。代價是運算量會隨輸入長度的平方成長。Token 數量變成 2 倍,注意力計算就會變成 4 倍,因此 32K 脈絡與 128K 脈絡的計價與回應速度完全不同。脈絡視窗越長,成本曲線就越陡峭,這正是提示詞設計的出發點。

現場最常出錯的地方,是「視窗很大,把資料全部放進去它就會自己看懂」這種想法。注意力是把有限的權重分配出去的結構,放入的文件越多,真正重要的句子所分到的份額就越少。長輸入中間位置的資訊,被反映得比前後更少,這種現象也屢屢被報告。參考資料的問題在於篩選,而不是數量。另外,注意力權重高,並不代表那就是模型的判斷依據。若把注意力圖擷取下來,並在稽核報告中附上「模型是看了這條條款才作答的」,那等於提交了一份沒有根據的說明。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
就像在一篇長文章中為關鍵字詞畫螢光筆一樣,由它自己決定要專注在哪裡。
為什麼在實務上很重要
注意力機制讓模型學會'該專注於什麼',使長文脈理解與大規模平行訓練成為可能。
由來與出處

2017 年 Google 研究團隊的論文《Attention Is All You Need》提出了以自注意力為基礎的 Transformer,成為現代 LLM 的基礎。

來源 · Vaswani et al.,《Attention Is All You Need》(2017)· 查看原文
透過案例理解

以假設案例來看。汽車零件製造商 A 公司(員工 1,180 人,年營收 KRW 420,000,000,000 (≈ US$314,357,100))把品質手冊與客戶規格書合併,開設了內部問答聊天機器人。開通三週後,品質保證組就湧入「同樣的問題每次答案都不一樣」的抱怨。找出原因花了六週。

  1. 負責 AI 專案小組的金次長,正把 320 頁的規格書整份貼進提示詞。團隊的前提是全部放進去,模型就會自己看出重點。
  2. 品質保證組 Lee 課長親自用 30 題測試,文件前 20 頁與末 15 頁的條件答得完全正確,但第 150 頁附近的熱處理允許誤差,3 次中有 2 次答錯。
  3. 以外部顧問身分加入的資料工程師 Park 責任表示:「不是模型偷懶,而是注意力分散了」,並建議把規格書以條款為單位切成 40 個區塊。
  4. 接受問題時,改為必須輸入適用工序與客戶名稱,並且只將檢索出的前 5 條相關條款放入。平均輸入 Token 數從 18 萬降到 9 千。
  5. 一個月後用同樣的 30 題重新測量,正確率從 61% 提升到 92%,平均回應時間從 14 秒縮短為 3 秒,每月 API 費用也從 KRW 7,800,000 (≈ US$5,840) 降到 KRW 1,200,000 (≈ US$900)。
相關術語
與此術語相關的課程
📚AI 代理實務入門Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

在一個句子中,計算字詞彼此之間相關程度的注意力。是 Transformer 的核心。
能很好地掌握長脈絡,並可平行處理,為大型語言模型的學習打開了大門。
在一個句子中,計算字詞彼此相關程度的注意力。
能很好地掌握長脈絡,並可平行處理,為大型語言模型的學習打開了大門。