知識 · AI 基礎

上下文工程

Context Engineering

📂AI 基礎⏱閱讀 2 分鐘📊實務🔗相關 4

什麼是上下文工程?

一句話定義
設計如何建構與提供給 LLM 的'脈絡(文件、資料、歷程)'的技術,是提示工程的延伸。
這個主題,也能以企業內訓來學習📚 相關課程💬 教育諮詢
⚡ 3 行重點摘要
  • 為 LLM 設計並提供所需的「上下文」
  • 超越提示,設計提供什麼資訊、如何提供
  • 決定 RAG、AI 代理品質的關鍵

導入脈絡工程後,'AI 答不出來'這個問題的檢視對象就改變了。過去是修飾問題的文字;現在則要檢視模型面前的資訊流——哪份文件被檢索出來、在哪裡被截斷、先前的對話擠掉了什麼。錯誤答案的原因多半不在模型,而在所提供的素材,因此負責人的工作也從潤飾文字,轉向資訊管線設計。

組成要素通常分為四層:系統指令、檢索到的文件(RAG)、對話紀錄,以及工具或資料庫呼叫的結果。近期的模型可接受 12 萬至 20 萬 Token,但位於上下文中段的資訊,其參照率會明顯低於前後段,因此實務上的慣例是 把核心依據放在最前面或最後面。與 微調的界線也很清楚。若問題在語氣與輸出格式,就該用微調;若問題在事實與時效性,則該靠上下文補強。

設計的關鍵在於規則,重點是'不放入什麼',比'放入什麼'更重要。將文件以 500~1,000 字為單位切段,只放入前 3~5 筆;已過修訂日的文件排除在檢索對象之外;超過 20 輪的對話則換成摘要版。即使是同一個問題、同一個模型,正確率仍會因這套規則而有所不同。回答中若附上來源檔名與更新日期,出現錯誤時就能立刻分辨是檢索出錯還是模型出錯。

最常見的誤解是「視窗變大了,全部塞進去就好」。若把 300 頁的規範整本貼上,已廢止的條款與今年的修正草案會並列在一起,模型會隨便挑一個來回答。看似有根據、實則錯誤的答案就是這樣產生的。再加上 Token 成本與回應延遲成倍增加,對話越長,前面的指示也越容易被後續紀錄稀釋。懂得放入的設計,也同樣需要懂得捨棄的設計才是關鍵。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
關鍵在於告訴 AI 要做什麼、給它什麼——提供好的素材(上下文),才能得到好的答案。
為什麼在實務上很重要
LLM 的回答品質取決於'知道什麼(上下文)'。上下文設計決定了實務 AI 的效能。
由來與出處

此概念隨著提示工程與 RAG、AI 代理的發展而浮現,隨著 LLM 實務應用的深化,正受到越來越多的重視。

透過案例理解

我們來看一個假設案例。A 公司是年營收 KRW 180,000,000,000 (≈ US$134,724,500)、全體員工 240 人的建材經銷商,已連續 6 個月營運一套用來回答內部規範與產品單價表問題的 QA 機器人。然而業務團隊依照機器人的回答報價後,因單價錯誤而重新開立的案件,每個月超過 10 件。當時有人提議「換成更好的 GPT 模型吧」,但真正的原因在別處。

  1. IT 組金課長抽出 80 則錯誤回答分類後發現,將近一半都引用了兩年前已廢止的價目表作為依據。會議中有人說:'問題出在倉庫,不在模型'。
  2. 我們先整理了文件庫。在 3,200 個檔案中,將連修訂日期都沒有標示的 1,100 個移除,並為其餘檔案加上「有效、廢止」標籤與更新日期。
  3. 調整了檢索設定。將區塊切為 800 字,每次提問只取前 5 筆,並設定過濾器,帶有廢止標籤的文件完全排除在檢索範圍之外。
  4. 業務本部的李部長說:'答案看似合理,但不知道是從哪份文件來的。'因此我們修改了提示範本,讓答案底部會顯示出處的檔名與更新日期。
  5. 6 週後以相同的 100 題重新測量,錯誤率從 34% 降到 9%;每次呼叫的平均 Token 數也從 1 萬 8 千降到 6 千,因此每月 API 費用降至約三分之一。
相關術語
相關 AI 工具
與此術語相關的課程
📚Claude Cowork 核心功能應用Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

提示工程著重於'把問題問好',上下文工程則是更廣的概念,進一步設計'要提供哪些資訊、以及如何提供'。
因為 RAG 與 AI 代理日益增加,回答品質很大程度取決於'提供什麼樣的上下文'。
提示工程是'把問題問好',上下文工程則是設計'要提供哪些資訊、如何提供'。
因為 RAG 與 AI 代理的應用日益增加,回答品質很大程度取決於'提供什麼樣的上下文'。