レートリミット · リクエスト制限
Rate Limiting
レートリミットとは?
- 時間あたりのリクエスト回数制限
- 過負荷・乱用・コスト急増の防止
- 429エラーでブロック
レートリミットを有効にした瞬間、サービス運用の前提が変わります。それまでは届いたリクエストをひとまず全部受け止めて耐え、サーバーが倒れたら増設や再起動をしていたのが、これからは決められた線を超えたリクエストを意図的に拒否することが正常な動作になります。拒否は障害ではなく設計です。トラフィックが集中してもサーバーは処理できる分だけを処理し、残りは少し待たされるだけで、サービス自体は生きています。一部の集中が多数の正常なユーザーを道連れに落としてしまう構造を断ち切ることが核心です。
方式は大きく4つに分かれます。固定ウィンドウは'毎分0秒にカウンターをリセット'するので作りやすいものの、境界区間にリクエストが2倍集中します。スライディングウィンドウはその境界問題をなくし、トークンバケットは普段ためておいた余裕分で瞬間的な集中を許容し、リーキーバケットは処理速度を一定に保ちます。何を基準に数えるかも同じくらい重要です。IP、APIキー、ユーザーID、組織単位のどれで管理するかによって結果が大きく変わります。分あたりの呼び出し数制限、月間クォータ、同時実行数制限は別々の仕組みです。月100万件のクォータのうち80万件が残っていても、秒あたりの上限に引っかかれば429はそのまま返されます。
現場で最もよくある事故は、IPを基準に制限をかけてしまうケースです。導入企業の役職員200名が社内NATを経由して1つのグローバルIPから出ていると、上限に達した瞬間に200名が同時に止められてしまいます。2つ目は再試行です。429を受けた直後に0.1秒後にもう一度呼び出すコードは、制限を解消するどころか自ら攻撃を生み出してしまいます。指数バックオフにランダムな遅延を混ぜ、Retry-Afterヘッダーを読む必要があります。3つ目は内部バッチです。未明の精算ジョブが上限を使い切ってしまうと、朝の顧客リクエストがブロックされるため、内部トラフィックは別のキーで切り離し、上限を別に設定しなければなりません。
ネットワーク・APIのトラフィック管理手法で、WebサービスやオープンAPIの普及とともに標準的な防御手段となりました。
架空の事例で見てみましょう。役職員140名規模のB2Bオンライン研修プラットフォーム、A社の話です。講義要約・クイズ生成機能に外部LLM APIを接続してから5週間で、月間API請求額が210万ウォン(約25万円)から1,680万ウォン(約201万円)に跳ね上がり、受講申込が始まる毎月第1週の月曜日のたびにサーバーが20分ずつ停止しました。CTOは'料金プランを上げるのではなく、入口を絞るべきだ'として対応に乗り出しました。
- バックエンドのキム・チーム長が2週間分の呼び出しログを調べたところ、全呼び出しの61%が上位3アカウントから発生しており、そのうち1社は自動化スクリプトで毎秒40回ずつ2時間にわたって叩き続けていました。
- CTOとキム・チーム長はトークンバケット方式を選び、APIキー単位で毎分60回、瞬間バースト20回まで許容するようゲートウェイ設定を変更し、超過分は429で返すことにしました。
- フロントエンド担当のパク先任は、429レスポンスにRetry-Afterを30秒で載せて返し、クライアントには2秒・4秒・8秒の指数バックオフとランダムな遅延を付けて、再試行が再び集中へ広がらないようにしました。
- 適用2日目、本社の社員90名が一斉にブロックされる事故が起きました。社内NATのせいで全員が同じIPから出ていたためで、キム・チーム長が「基準をIPではなくユーザーIDに変更します」と整理し、深夜の精算バッチは別のキーに分離しました。
- 適用6週間後、月間API費用は1,680万ウォン(約201万円)から290万ウォン(約35万円)に下がり、受講申込日の障害は20分から0分に、平均応答時間は3.4秒から1.1秒に短縮されました。
パク・スンテ
チョン・イリョン