AI 系统设计与模型服务化
答案要点
- 服务化是把模型封装为 REST/gRPC 服务,负责推理、扩缩容、版本与监控
- 系统组成:数据与训练平台、模型仓库、推理服务、网关、监控与数据回流
- 常见框架有 Triton、TorchServe、TF Serving,大模型推理常用 vLLM 等
- Triton 支持多后端、动态批处理、多实例并发和模型仓库管理
- 上线需灰度/A/B 测试,监控延迟、QPS、资源利用率和数据漂移
易错点
- 只讲把模型包个 Flask 接口,忽略批处理、并发和资源管理
- 训练与服务的特征预处理不一致,导致线上效果下降
- 只监控系统指标,不监控数据漂移和模型效果
- 盲目调大批大小,导致尾延迟超出 SLA
面试官常见追问
- 动态批处理为什么能提升吞吐,代价是什么?
- 大模型推理服务和传统模型服务有何不同?
- 如何做模型的无损上线?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。