端侧 AI 与端云协同架构的优劣与趋势
答案要点
- 端侧优势:低延迟、离线可用、隐私保护、省带宽和云成本
- 端侧劣势:算力、内存、功耗受限,设备碎片化
- 端云协同:端侧轻量推理和预处理,云端做复杂推理与模型更新
- 按难度或置信度路由请求到端或云
- 趋势:量化剪枝蒸馏的端侧小模型与云端大模型分工,结合联邦学习
易错点
- 只讲端侧优点,不讲资源受限和碎片化
- 忽略端云切换时的一致性和体验
- 认为端侧可以完全替代云端大模型
面试官常见追问
- 端云协同如何决定请求在哪里处理?
- 端侧模型如何更新?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。