AI Agent 后端架构:LLM 集成、延迟优化与提示注入防护
哪些公司问过
答案要点
- 分层:接入层、编排层、模型适配层、工具与记忆层,业务不直接依赖具体模型
- 适配层统一调用接口,处理超时、重试、限流与多模型 fallback
- 延迟优化:流式输出、工具调用并行、结果或前缀缓存、小模型路由、压缩上下文
- 注入防护:区分指令与外部数据、工具最小权限、高危操作人工确认、输出校验
- 全链路记录 prompt、工具调用和 token 消耗,便于审计与成本控制
易错点
- 只靠在系统提示里写「忽略恶意指令」来防注入
- Agent 循环不设最大步数和超时,成本与延迟失控
- 业务代码直接绑定某家 SDK,换模型时改动面大
面试官常见追问
- 什么是间接 prompt 注入?
- 模型输出格式不对或工具调用失败怎么处理?
- 怎么控制 Agent 的调用成本?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。