设计大模型推理 API 的请求与返回字段,并支持流式返回
哪些公司问过
答案要点
- 请求含调用 ID、model、messages 上下文、生成参数(temperature、top_p、max_tokens、stop)与 stream 开关
- 可通过输出格式字段约束返回结构,例如要求 JSON 并提供 schema
- 返回含调用 ID、内容、结束原因与 token 用量;错误含 code、message、类别及是否可重试
- 错误码按参数、鉴权、限流、审核、服务端分类,便于客户端决定重试还是报错
- 流式用 SSE 或分块传输,每块带调用 ID,末尾给出结束原因、用量和结束标志
易错点
- 只在第一个分块返回调用 ID,后续分块和日志无法关联
- 流式中途出错没有错误事件,客户端只看到连接断开
- 错误码不区分是否可重试,导致客户端对参数错误也反复重试
面试官常见追问
- 流式过程中如何保证调用 ID 始终能关联?
- 流式传输中途出错怎么办?
- 为什么不用 WebSocket 做流式?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。