如何从零搭建监控告警与可观测体系
哪些公司问过
答案要点
- 覆盖指标、日志、链路三类数据,并通过 traceId 等字段做关联分析
- 指标层:exporter 加 Prometheus 采集,Grafana 可视化,关注错误率、延迟、流量、饱和度
- 告警层:Alertmanager 规则加持续时间防抖、分级、分组、静默,实现分钟级发现
- 日志集中收集到 ELK 或 Loki,链路追踪用 OpenTelemetry 接 Jaeger、SkyWalking
- 增加外部拨测和值班复盘机制,持续补全监控项、降低告警噪音
易错点
- 只建监控大盘不配告警,问题仍然要靠用户反馈才发现
- 告警阈值过多过敏,噪音太大导致值班人员忽视真正的故障
- 监控系统与业务部署在同一故障域,一起宕机时无人知晓
- 日志、指标、链路互相孤立,没有统一标识,定位根因效率低
面试官常见追问
- 你系统中的日志都存在哪个地方?
- 如何避免告警风暴?
- 200 台机器一个月内怎么排优先级?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。