負載平衡・負載分散
Load Balancing
什麼是負載平衡?
- 將請求平均分散到多台伺服器
- 防止單一伺服器過載
- 擴展與穩定性的基礎
導入負載平衡後,伺服器就從「只有一台、不可取代的資產」變成隨時可以更換的零件。部署時可以一台一台先移出,上新版本後再接回,使用者完全不會察覺。過去深夜發布維護公告、暫停服務的做法會消失,取而代之的是連平日下午也能部署的團隊。改變的是工作方式,而不只是基礎設備,這正是改變的起點。
分流的層級大致有兩種。L4 只看 IP 與連接埠就轉送,速度快,但不了解請求內容;L7 則能讀取 URL、標頭,甚至 Cookie,把 /api 導到 API 伺服器、/img 導到圖片伺服器。分配規則有依序輪流的輪詢、送往連線數最少的最少連線,以及讓同一使用者固定連到同一台的 IP 雜湊。其中處理時間忽快忽慢的服務,最少連線較為有利。此外,健康檢查的間隔與失敗門檻,例如每 10 秒檢查一次、連續失敗 3 次即排除,也決定了故障回應的速度。
不過,負載平衡器本身不會增加伺服器數量。自動調整台數是自動擴展(Auto Scaling)的工作;將圖片與影片從離使用者較近的地方提供,是 CDN 的工作;主系統整個故障時切換到備援系統,則是容錯移轉(Failover)。三者搭配運作時才能真正承受實際流量。若前面只架了負載平衡器,後面卻只有兩台伺服器,流量一湧入,兩台會一起倒。
現場最容易出問題的地方是工作階段。若把登入資訊存在伺服器記憶體中,每次請求被導到其他伺服器,登入就會失效,購物車消失的客訴會大量湧入。情急之下常用黏性工作階段把使用者綁在同一台伺服器,但那台一掛,該台上的使用者會一次全部被登出。工作階段應移到 Redis 這類共用儲存空間才是標準做法。另外,若健康檢查只確認連接埠有回應,應用程式即使已失去資料庫連線,仍會被判定為「正常」,請求會持續送往已故障的伺服器。
這是從大型網路服務的流量處理需求發展而來的網路技術,如今已成為雲端基礎架構的基本要素。
以假設案例說明。年營收約 KRW 40,000,000,000 (≈ US$29,938,800)、員工 180 人的生活用品電商 A 公司,每月第一週的促銷檔期都會湧入大量訂單。今年 3 月的活動中,開賣 10 分鐘後,一台網頁伺服器 CPU 飆到 98% 而停止運作,結帳頁面 12 分鐘無法開啟。當天光是取消與詢問就累積超過 300 件。
- 基礎架構團隊的朴組長查看記錄後發現,伺服器其實已有 2 台,但因採用 DNS 輪詢,停止運作的那台仍會收到請求。'完全沒有確認伺服器是否存活的機制。'
- 在前端設置雲端 L7 負載平衡器,並將網頁伺服器增加為 4 台,接著修改健康檢查路徑,使其連 DB 連線也一併確認;連續 3 次失敗(每 10 秒檢查一次)即自動移出。
- 第一次測試時登入狀態不斷失效,開發組金負責人指出「工作階段(session)存在伺服器記憶體中」,花了兩天時間,將工作階段儲存改為獨立的 Redis。
- 在同時 8,000 人連線的壓力測試中,輪詢方式使特定伺服器 CPU 飆到 90%,因此改為最少連線,並將圖片請求分流到 CDN。
- 6 月促銷期間,即使同時連線達 1.2 萬人也沒有中斷,平均回應時間從 1.8 秒縮短為 0.6 秒,結帳失敗的客訴從 300 多件降到 4 件。
Seungtae Park
朴雪英