ロギング・モニタリング
Logging / Monitoring
ロギングとは?
- ロギング=起きた出来事の記録
- モニタリング=リアルタイム監視
- 問題の早期発見
ロギング・モニタリングが定着すると、障害を扱う言葉から変わります。「朝からサービスが少しおかしいようだ」という報告が、「10時12分から決済APIの応答が0.8秒から4.6秒に増え、エラー率は0.3%から7%に上がった」に変わります。推測ではなく数字から始まる会議になるため、開発・インフラ・CSが同じ画面を見ながら動けるようになり、カスタマーサポートも「確認中です」の代わりに、復旧の見込み時刻を案内できるようになります。経営陣が注視する指標も、障害が起きた回数ではなく、検知するまでにかかった時間へと移っていきます。
実務では3つを区別して使います。ログは出来事ひとつひとつの記録(注文失敗、認証拒否など)であり、指標は分単位で集計した数値(CPU 70%、エラー率2%)であり、トレースは1つのリクエストが5つのサービスを経由する間、どこで3秒を使ったかを示す経路です。この3つをあわせて見ることを可観測性と呼びます。ログはDEBUG・INFO・WARN・ERRORのレベルに分けて記録し、アラートの基準は「サーバーが生きているか」ではなく「顧客が不便を感じているか」に置くべきです。「5分連続の決済エラー率5%超過」のような条件が有効なのはそのためです。保管期間も事前に決めておき、詳細ログは30日、要約指標は13か月のように、コストと追跡可能性を引き換えにする設計をしておくのがよいでしょう。
最も多いズレは「とりあえず全部ためておこう」です。保存コストは月に数百万ウォンずつ膨らむのに、いざ障害が起きるとログが多すぎて検索できず、結局サーバーに直接入って tail コマンドを打つことになります。アラートも同じです。1日200件鳴る警報は3日もすれば誰も開かなくなり、本当の障害シグナルがノイズに埋もれてしまう状態は、アラートがまったくないよりも危険です。さらに、住民登録番号やカード番号をそのままログに残したことで、運用上の障害が個人情報流出事故へと広がる例も少なくありません。機微情報のマスキング規則は、ツールを選ぶ前、ロギング設計の初日に決めておくべきです。
システム運用の基本的な慣行として長く存在してきましたが、クラウドやマイクロサービスの複雑化により、統合ロギング・モニタリング(オブザーバビリティ、可観測性)の重要性が高まりました。
仮想の事例で見てみましょう。首都圏でオンライン食材販売を行うA社は、役職員180名、年間売上高は約900億ウォン(約1,076,310万円)規模です。早朝配送の注文締め切り直前の夜10〜11時に、決済失敗の問い合わせが1日40〜50件ずつ寄せられていましたが、開発チームの回答はいつも「サーバーを再起動すれば直る」でした。原因がつかめないまま3か月が過ぎました。
- CTOは、サーバーに直接入ってログを探す方式をやめ、注文・決済・配送APIにリクエストIDを付けて一か所に集めるよう指示しました。「誰がいつどこで止まったのかを、ひとつの画面で見ましょう」――指示はそれだけでした。
- インフラ担当のキム課長がダッシュボードを「エラー率・p95応答時間・決済の待ち行列・DBコネクション」の4つに絞ったところ、初週のうちに毎晩22時20分ごとにDBコネクションが上限の100に達するグラフが目に入ってきました。
- 「5分連続の決済エラー率5%超過」の条件でSlackの通知を設定したところ、初日に60件が届きました。しきい値と対象を2回調整して1日3件に減らしてから、ようやくチームメンバーが通知を開くようになりました。
- トレースデータをたどると、在庫照会のクエリ1本が2.8秒を食っていました。バックエンド担当のイ責任者がインデックスを追加して0.3秒に短縮し、コネクションプールも100から250に増やしました。
- 2か月後、決済失敗の問い合わせは1日45件から4件に、障害を認知するまでの時間は平均40分から3分に減りました。復旧までの時間も2時間から25分に短縮され、CSチームの夜間待機人員を2名から1名に調整しました。
パク・スンテ
金鍾赫