面试题库 › 算法 / 大模型 › 设计大模型推理 API 的请求与返回字段,并支持流式返回

设计大模型推理 API 的请求与返回字段,并支持流式返回

难度 ★★☆在 3 场真实面经中被问到 方向:算法 / 大模型考点:大模型推理服务

哪些公司问过

美团3

常见岗位:推理部署与加速、Java 后端

答案要点

  1. 请求含调用 ID、model、messages 上下文、生成参数(temperature、top_p、max_tokens、stop)与 stream 开关
  2. 可通过输出格式字段约束返回结构,例如要求 JSON 并提供 schema
  3. 返回含调用 ID、内容、结束原因与 token 用量;错误含 code、message、类别及是否可重试
  4. 错误码按参数、鉴权、限流、审核、服务端分类,便于客户端决定重试还是报错
  5. 流式用 SSE 或分块传输,每块带调用 ID,末尾给出结束原因、用量和结束标志

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题