ロードバランシング・負荷分散
Load Balancing
ロードバランシングとは?
- リクエストを複数のサーバーに均等に分散
- 1台のサーバーへの過負荷防止
- 拡張性・安定性の基本
ロードバランシングを導入した瞬間、サーバーは「一台しかない資産」からいつでも交換できる部品へと性格が変わります。デプロイの際は一台ずつ切り離して新しいバージョンを載せ、再び接続すればユーザーは何も感じません。深夜にメンテナンス告知を出してサービスを止めていた慣行がなくなり、平日の午後にもデプロイするチームになります。インフラ機器より先に、働き方が変わる地点です。
振り分けの層は大きく二つあります。L4はIPアドレスとポートだけを見て転送するので速いものの、リクエストの中身は分かりません。L7はURL・ヘッダー・クッキーまで読み取り、/api はAPIサーバーへ、/img は画像サーバーへと振り分けられます。振り分けのルールには、順番に回すラウンドロビン、接続数が最も少ないサーバーへ送る最小接続、同じユーザーを同じサーバーにまとめるIPハッシュなどがあり、処理時間にばらつきのあるサービスほど最小接続が有利です。さらに、ヘルスチェックの周期と失敗のしきい値、たとえば10秒間隔で3回連続失敗したら除外、といった設定が障害対応の速さを決めます。
ただしロードバランサー自体がサーバーを増やしてくれるわけではありません。台数を自動で調整するのはオートスケーリング、画像や動画をユーザーの近くから配信するのは CDN、主システムが丸ごと落ちたときに待機系へ切り替えるのはフェイルオーバーです。この三つが噛み合ったときに初めて実際のトラフィックに耐えられます。ロードバランサーだけを前に置き、後ろのサーバーが二台しかなければ、混雑時に二台とも一緒に崩れます。
現場で最も壊れやすいのはセッションです。ログイン情報をサーバーのメモリに持たせていると、リクエストが別のサーバーに振り分けられるたびにログインが解け、カートが消えたという問い合わせが殺到します。急場しのぎに、ユーザーを一台のサーバーに固定するスティッキーセッションで覆うケースも多いのですが、そのサーバーが落ちると、そのサーバーのユーザーだけが一斉に切断されます。セッションは Redis のような共有ストレージに切り出すのが定石です。また、ヘルスチェックがポートの応答しか確認しないと、アプリケーションがDB接続を失っても「正常」と報告され、停止したサーバーへリクエストが流れ続けます。
大規模Webサービスのトラフィック処理の必要から発展したネットワーク技術で、クラウドインフラの基本要素になりました。
仮想の事例で見てみましょう。年商約400億ウォン(約478,360万円)、役職員180名規模の生活用品ECのA社は、毎月第1週の割引セールのたびに注文が集中していました。3月のイベントでは、オープンから10分でWebサーバー一台がCPU 98%で止まり、決済ページが12分間開かなくなりました。その日だけでキャンセルと問い合わせが300件を超えて積み上がりました。
- インフラチームのパク・チーム長がログを調べると、サーバーはすでに2台あったものの、DNSラウンドロビンだったため、停止した側にもそのままリクエストが流れていました。「生きているかを確認する仕組みが、そもそもなかったのです。」
- クラウドのL7ロードバランサーを前段に置き、Webサーバーを4台に増やしたうえで、ヘルスチェックのパスがDB接続まで確認するように修正しました。10秒間隔で3回失敗すると自動的に切り離されるようにしています。
- 1次テストでログインが何度も切れると、開発チームのキム・リードが'セッションがサーバーのメモリにあります'と指摘し、2日かけてセッションストレージをRedisに分離しました。
- 同時接続8,000人の負荷テストでは、ラウンドロビンだと特定サーバーのCPUが90%まで跳ね上がったため、分散方式を最小接続に変え、画像リクエストはCDNに切り出しました。
- 6月の割引セールでは、同時接続1万2千人でも停止せず、平均応答時間は1.8秒から0.6秒に、決済失敗の問い合わせは300件余りから4件に減りました。
パク・スンテ
パク・ソリョン