日誌紀錄 · 監控
Logging / Monitoring
什麼是日誌記錄(Logging)?
- 日誌紀錄=記錄發生過的事
- 監控=即時監看
- 及早發現問題
日誌紀錄與監控一旦扎根,處理故障的語言也會跟著改變。「從早上開始服務好像有點怪」的回報,會變成「10 點 12 分起付款 API 回應時間從 0.8 秒拉長到 4.6 秒,錯誤率從 0.3% 升到 7%」。改以數字而非猜測開場的會議,開發、基礎架構與 CS 就能看著同一個畫面行動,客服中心也能不再只回覆「確認中」,而是告知預估的恢復時間。管理層關注的指標,也會從故障發生的次數,轉為從發生到察覺所花的時間。
實務上會把三件事分開來看。日誌是每一件事件的紀錄(例如下單失敗、認證遭拒);指標是以分鐘為單位彙總的數字(CPU 70%、錯誤率 2%);追蹤則是顯示一個請求經過五個服務時,哪一段耗掉了 3 秒的路徑。把這三者放在一起看,就稱為可觀測性。日誌要依 DEBUG、INFO、WARN、ERROR 分級記錄,而警示標準應該設在「客戶是否感到不便」,而不是「伺服器是否還活著」。像「連續 5 分鐘付款錯誤率超過 5%」這類條件,正是基於這個理由才有效。保存期限也要事先決定,例如詳細日誌保存 30 天、摘要指標保存 13 個月,預先做好以成本換取追蹤能力的設計,會是比較好的做法。
最常見的偏差是「先全部存下來再說」。儲存成本每月動輒數百萬 KRW 地增加,真正出事時日誌卻多到無法搜尋,最後只好直接登入伺服器執行 tail 指令。警示也是同樣的情況。每天響 200 次的警報,三天後就沒有人會點開;而真正的故障訊號被雜訊淹沒的狀態,比完全沒有警示還危險。此外,把韓國居民登錄號碼或卡號原封不動留在日誌裡,最後從營運故障演變成個資外洩事故的案例也不少。敏感資訊遮罩規則,應在挑選工具之前,於日誌設計的第一天就訂好。
這是系統營運的基本做法,行之有年;隨著雲端與微服務的複雜度提高,整合式日誌紀錄與監控(可觀測性,Observability)的重要性也隨之上升。
以下以假設案例來說明。A 公司在首都圈經營線上食材販售,全體員工 180 人,年營收約 KRW 90,000,000,000 (≈ US$67,362,200)。在清晨配送訂單截止前的晚上 10 至 11 點,每天都湧入 40 到 50 筆付款失敗的詢問,但開發團隊的回覆總是「重啟伺服器就好了」。就這樣過了 3 個月,仍找不到原因。
- CTO 下令停止以往直接登入伺服器翻找日誌的做法,改在訂單、付款與配送 API 上附加請求 ID,集中到同一處。「誰在何時、何處卡住,我們在同一個畫面上看清楚」就是他的全部指示。
- 基礎架構負責人金課長把儀表板精簡為錯誤率、p95 回應時間、付款排隊數與 DB 連線數這四項後,第一週就發現一條很明顯的曲線:每晚 10 點 20 分,DB 連線數都會撞上 100 個的上限。
- 設定了「連續 5 分鐘付款錯誤率超過 5%」的條件來發送 Slack 通知,結果第一天就湧進 60 則。調整了兩次門檻與對象,降到每天 3 則之後,團隊成員才開始點開通知來看。
- 循著追蹤資料往下查,發現庫存查詢的一條 SQL 就耗去 2.8 秒。後端負責人新增索引後降到 0.3 秒,連線池也從 100 個提高到 250 個。
- 兩個月後,結帳失敗的客訴從每天 45 件降到 4 件,故障察覺時間也從平均 40 分鐘縮短為 3 分鐘。復原所需時間同樣從 2 小時縮短為 25 分鐘,客服團隊的夜間值班人數也因此從 2 人調整為 1 人。
Seung-tae Park
金鍾赫