速率限制 · 請求限制
Rate Limiting
什麼是速率限制?
- 每小時請求次數限制
- 防止過載、濫用與費用暴增
- 遭 429 錯誤阻擋
一開啟速率限制,服務營運的前提就改變了。在此之前,系統先把所有進來的請求全數接下、硬撐,等伺服器倒下再擴充或重啟;現在則刻意拒絕超過既定上限的請求,成為正常運作。拒絕不是故障,而是設計。即使流量湧入,伺服器也只處理它能負荷的部分,其餘稍作排隊,服務本身仍維持運作。關鍵在於切斷少數人的暴衝連帶拖垮多數正常使用者的結構。
做法大致分為四種。固定視窗是「每分鐘第 0 秒重置計數器」,製作容易,但邊界區間會湧入兩倍流量。滑動視窗可消除這個邊界問題;Token 桶則允許用平時積存的餘裕額度承受瞬間暴增;漏桶(Leaky Bucket)則讓處理速度維持固定。以什麼為計算基準同樣重要。依 IP、API 金鑰、使用者 ID 或組織單位來計算,結果會完全不同。每分鐘呼叫次數上限、每月配額與同時執行數上限是不同的機制。即使每月 100 萬筆的配額還剩 80 萬筆,只要超過每秒上限,仍會回傳 429。
現場最常見的意外,是以 IP 為基準設限。合作企業的 200 名員工若透過公司內部 NAT 以同一個公用 IP 對外連線,一旦觸及上限,200 人會同時被擋下。第二是重試。收到 429 後 0.1 秒就再次呼叫的程式碼,並不是解除限制,而是自己製造攻擊。應在指數退避中加入隨機延遲,並讀取 Retry-After 標頭。第三是內部批次作業。若凌晨結算作業把額度用盡,早上的客戶請求就會被擋,因此內部流量應另外使用獨立金鑰,單獨設定上限。
這是網路與 API 流量管理的技術,隨著網頁服務與開放 API 的普及,已成為標準的防禦手段。
我們來看一個假設案例。這是一家約 140 名員工規模的 B2B 線上教育平台 A 公司的故事。在課程摘要與測驗生成功能接上外部 LLM API 後的五週內,每月 API 帳單從 KRW 2,100,000 (≈ US$1,570) 飆升到 KRW 16,800,000 (≈ US$12,600),而每月第一週的週一,選課開放時伺服器都會停擺 20 分鐘。CTO 認為'與其調整方案價格,不如先收窄大門',於是著手應對。
- 後端的金組長檢視兩週的呼叫紀錄,發現全部呼叫的 61% 來自前三大帳號,其中一家以自動化腳本每秒狂打 40 次,持續了兩個小時。
- CTO 與金組長選擇 Token 桶方式,調整閘道設定,以 API 金鑰為單位,每分鐘 60 次、瞬間突發 20 次為上限,超出的部分則回傳 429。
- 前端負責人朴資深在 429 回應中以 Retry-After 設定 30 秒回傳,並在用戶端加上 2 秒、4 秒、8 秒的指數退避與隨機延遲,防止重試又演變成湧入。
- 上線第二天,總公司 90 名員工同時被擋下,發生了事故。因為公司內部 NAT 的關係,全員都從同一個 IP 出去,Kim 主管整理後指出 '改以使用者 ID 而非 IP 作為基準',另外把凌晨的結算批次分到獨立的金鑰。
- 導入六週後,每月 API 費用從 KRW 16,800,000 (≈ US$12,600) 降至 KRW 2,900,000 (≈ US$2,170),選課開放日的故障時間從 20 分鐘降為 0 分鐘,平均回應時間也從 3.4 秒縮短為 1.1 秒。
Seungtae Park
鄭一永