速率限制
区分调用速率、额度与上游容量,减少失败和无效重试。
先区分限制类型
| 类型 | 含义 | 处理方向 |
|---|---|---|
| RPM | 每分钟请求数 | 降低突发速率,使用请求队列。 |
| TPM | 每分钟 Token 量 | 缩短输入输出,将大任务分批。 |
| Key 额度 | 单把 Key 的费用边界 | 查看固定或每日剩余额度。 |
| 项目预算 | 项目范围的费用策略 | 查看预算、覆盖范围与超限行为。 |
| 上游容量 | 模型或渠道可用容量 | 等待恢复,或提前沟通容量需求。 |
收到 429 时
阅读错误体,确定是速率、额度还是容量问题。有 Retry-After 时按其指示等待;该头可能是秒数或 HTTP 日期,不能只按一个整数解析所有情况。
调整请求方式
- 设置队列与最大并发,避免多个任务同时突发启动。
- 对可重试错误使用带随机抖动的指数退避,并设置最大重试次数。
- 使用模型支持的输出上限参数,减少无用输出。
- 避免客户端与业务层同时自动重试,放大请求数量。
规划大规模任务
持续碰到容量限制时,准备目标模型、任务规模和完成窗口,在 容量规划 整理需求。增加 Key 数量不意味着账户或上游容量会同步增加。