BFF 并行聚合多个下游为何仍会放大尾延迟
哪些公司问过
答案要点
- 并行后总耗时取决于最慢的下游,尾延迟是各下游尾部的叠加
- 扇出 N 个时至少一个变慢的概率约为 1-(1-p)^N,扇出越大越明显
- 共享依赖、线程池和连接池被慢调用占用会引起排队,进一步放大延迟
- 用超时预算、降级、对冲请求、隔离线程池等手段控制长尾
易错点
- 以为并行化后总耗时就等于平均耗时
- 只看平均延迟,不关注 P99、P999
- 对非幂等写请求做重试或对冲,造成重复操作
面试官常见追问
- 对冲请求会不会把下游压垮?
- 怎么给整个聚合请求设置超时?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。