频率限制规则
AMAX Token Router 不设任何频率限制。
无 QPS/TPS 限制
- 网关层不限制你的请求频率
- 无 QPS(每秒请求数)上限
- 无 TPS(每秒 Token 数)上限
如果遇到限流
如果你收到了 429 rate_limit_exceeded 错误,这意味着是上游模型厂商触发了频率限制,而非 AMAX Token Router。
当某个模型厂商返回限流错误时,你可以:
- 降低请求频率 — 减少对同一模型的并发请求
- 切换模型 — 尝试请求其他模型
- 使用智能路由 — 将
model设为amax-router,网关会自动选择未被限流的模型(需后台配置路由策略)
详见 智能模型路由
高并发保障
AMAX Token Router 内置负载均衡,在多上游实例间自动分发流量,确保网关本身的处理能力远大于单用户需求。