模型接口与共享配额原理¶
业务继续调用统一LLMClient,普通HTTP、OpenAI SDK与LiteLLM SDK只负责传输和参数适配。三条路径归一化文本、实际模型、token用量和耗时,JSON正文仍由上层json_repair解析,ReAct协议不改变。
SDK的HTTP客户端通过当前requests目的地址校验适配器连接,保留DNS目标固定、TLS主机名校验和元数据地址拒绝。模型请求不跟随重定向,不继承环境代理;LiteLLM当前只开放经此受控传输核验的OpenAI兼容调用。SDK网络自动重试关闭,平台以显式预算分类和处理重试。
限流只在RPM或最大并发启用时访问SQLite许可表。一次短事务清理过期记录、检查滚动窗口和在途租约并写入新许可;随后释放事务锁执行请求。后台进程连接同一项目数据库即可协调配额,实际密钥不会作为限流状态保存。未填写共享组时用模型配置ID划分;填写同组时共用范围。
已发生的请求尝试保留在60秒窗口内,并发许可则在成功、失败或取消后释放。崩溃请求的租约按该次预算加宽限期过期。配额等待和重试退避会检查取消与剩余预算;同步网络调用采用底层连接/读取超时,在返回后再次校验预算。该机制不等同于能够强杀任意阻塞网络调用的操作系统沙箱。
返回诊断将排队、网络尝试和重试次数分开,便于解释慢响应。将多个模型设为相同配额组可以限制共用供应商额度,但本地计数不代表供应商的真实剩余额度,也无法协调其他数据库或其他外部应用的调用。
操作与依赖安装见模型接口指南。