限流和配额经常被混为一谈，但两者解决的问题不同。限流保护的是系统稳定性，配额约束的是商业合同；一个面向秒级流量，一个面向月级用量。把两者拆开设计，后续排障和计费都会清晰很多。

一、先区分三个概念

  • 并发限制：同一时刻正在处理的请求数，防止线程、连接或上游配额被瞬间打满。
  • 速率限制：单位时间允许的请求数，例如每分钟 60 次，用于削峰。
  • 用量配额：一个周期内允许消耗的总量，例如每月 100 万 token，用于计费和合同约束。