上下文工程
Context Engineering
什麼是上下文工程?
- 為 LLM 設計並提供所需的「上下文」
- 超越提示,設計提供什麼資訊、如何提供
- 決定 RAG、AI 代理品質的關鍵
導入脈絡工程後,'AI 答不出來'這個問題的檢視對象就改變了。過去是修飾問題的文字;現在則要檢視模型面前的資訊流——哪份文件被檢索出來、在哪裡被截斷、先前的對話擠掉了什麼。錯誤答案的原因多半不在模型,而在所提供的素材,因此負責人的工作也從潤飾文字,轉向資訊管線設計。
組成要素通常分為四層:系統指令、檢索到的文件(RAG)、對話紀錄,以及工具或資料庫呼叫的結果。近期的模型可接受 12 萬至 20 萬 Token,但位於上下文中段的資訊,其參照率會明顯低於前後段,因此實務上的慣例是 把核心依據放在最前面或最後面。與 微調的界線也很清楚。若問題在語氣與輸出格式,就該用微調;若問題在事實與時效性,則該靠上下文補強。
設計的關鍵在於規則,重點是'不放入什麼',比'放入什麼'更重要。將文件以 500~1,000 字為單位切段,只放入前 3~5 筆;已過修訂日的文件排除在檢索對象之外;超過 20 輪的對話則換成摘要版。即使是同一個問題、同一個模型,正確率仍會因這套規則而有所不同。回答中若附上來源檔名與更新日期,出現錯誤時就能立刻分辨是檢索出錯還是模型出錯。
最常見的誤解是「視窗變大了,全部塞進去就好」。若把 300 頁的規範整本貼上,已廢止的條款與今年的修正草案會並列在一起,模型會隨便挑一個來回答。看似有根據、實則錯誤的答案就是這樣產生的。再加上 Token 成本與回應延遲成倍增加,對話越長,前面的指示也越容易被後續紀錄稀釋。懂得放入的設計,也同樣需要懂得捨棄的設計才是關鍵。
此概念隨著提示工程與 RAG、AI 代理的發展而浮現,隨著 LLM 實務應用的深化,正受到越來越多的重視。
我們來看一個假設案例。A 公司是年營收 KRW 180,000,000,000 (≈ US$134,724,500)、全體員工 240 人的建材經銷商,已連續 6 個月營運一套用來回答內部規範與產品單價表問題的 QA 機器人。然而業務團隊依照機器人的回答報價後,因單價錯誤而重新開立的案件,每個月超過 10 件。當時有人提議「換成更好的 GPT 模型吧」,但真正的原因在別處。
- IT 組金課長抽出 80 則錯誤回答分類後發現,將近一半都引用了兩年前已廢止的價目表作為依據。會議中有人說:'問題出在倉庫,不在模型'。
- 我們先整理了文件庫。在 3,200 個檔案中,將連修訂日期都沒有標示的 1,100 個移除,並為其餘檔案加上「有效、廢止」標籤與更新日期。
- 調整了檢索設定。將區塊切為 800 字,每次提問只取前 5 筆,並設定過濾器,帶有廢止標籤的文件完全排除在檢索範圍之外。
- 業務本部的李部長說:'答案看似合理,但不知道是從哪份文件來的。'因此我們修改了提示範本,讓答案底部會顯示出處的檔名與更新日期。
- 6 週後以相同的 100 題重新測量,錯誤率從 34% 降到 9%;每次呼叫的平均 Token 數也從 1 萬 8 千降到 6 千,因此每月 API 費用降至約三分之一。
金鍾赫
朴雪英