速率限制

为保障所有用户的稳定性与公平性,AiToken 网关从 请求速率、Token 吞吐 与 并发数 三个维度做分层限制。 触发限制时请求会被拒绝并返回 429,被限流的请求不计费。

1. 限制维度与默认基线

维度默认基线作用域说明
IP 级 RPM120 / 分钟单个来源 IP防滥用与异常流量,共享出口 IP 会共用该额度
用户级 RPM60 / 分钟单个账号默认基线,可按套餐与策略提升
Key 级 RPM默认不限单个 API Key可单独设置,并支持按 Key 档位倍率放大
Token 吞吐(TPM)按策略配置单个 Key长上下文、大批量场景的主要约束项
并发数按策略配置单个用户流式请求在响应结束前持续占用并发槽

除上述全局基线外,还可针对单条链路(如 OpenAPI / 控制台)分别限速, 以及为单个 API Key 覆盖 rpm_per_key、tpm_per_key、user_concurrency。

2. 超限时的表现

3. 推荐的重试策略

4. 申请提升额度

默认额度面向调试与中小规模生产。如需更高的 RPM / TPM 或并发,请在控制台提交工单, 或邮件联系 support@aitoken.com, 说明目标量级、业务场景与峰值时段;企业客户可另行约定 SLA 与专属配额。