不同上游模型返回的增量字段和最终 usage 信息可能存在差异。生产环境建议按目标模型实际返回内容做兼容处理。
Chat Completions
在请求体中设置stream: true。
Terminal
Python
Responses API
Responses API 同样通过stream: true 启用流式响应。
Terminal
Anthropic Messages
Anthropic Messages 格式也使用stream: true。
Terminal
排查建议
客户端一直等待,没有输出
客户端一直等待,没有输出
先用非流式请求验证同一个模型和 Key 是否可用。非流式成功后,再确认客户端是否正确处理 SSE 事件。
流式请求没有 usage
流式请求没有 usage
不同上游和不同接口格式对流式 usage 的返回策略不同。不要把最终 usage 字段作为业务成功的唯一判断条件。
代理或网关中断流式响应
代理或网关中断流式响应
检查中间代理是否禁用了流式传输、缓冲了响应,或设置了过短的超时时间。