Skip to main content
XRouter 支持兼容接口的流式响应。客户端会收到 Server-Sent Events 或对应 SDK 封装后的增量事件。
不同上游模型返回的增量字段和最终 usage 信息可能存在差异。生产环境建议按目标模型实际返回内容做兼容处理。

Chat Completions

在请求体中设置 stream: true
Terminal
Python SDK 示例:
Python

Responses API

Responses API 同样通过 stream: true 启用流式响应。
Terminal

Anthropic Messages

Anthropic Messages 格式也使用 stream: true
Terminal

排查建议

先用非流式请求验证同一个模型和 Key 是否可用。非流式成功后,再确认客户端是否正确处理 SSE 事件。
不同上游和不同接口格式对流式 usage 的返回策略不同。不要把最终 usage 字段作为业务成功的唯一判断条件。
检查中间代理是否禁用了流式传输、缓冲了响应,或设置了过短的超时时间。