ELK 日志收集流程与 Elasticsearch 全文索引原理
哪些公司问过
答案要点
- 链路:应用日志 → Filebeat 采集 → Kafka 缓冲 → Logstash 解析过滤 → Elasticsearch 存储 → Kibana 展示
- 倒排索引是词项到文档列表的映射,记录文档 ID、词频和位置,用于快速全文检索
- text 字段写入和查询都经过分析器(字符过滤、分词、词项过滤),中文需 IK 等分词器
- 查询对各词项的文档列表求交并,默认用 BM25 计算相关性并排序
- 段不可变,refresh 后新数据才可检索,因此 ES 是近实时搜索
易错点
- 把倒排索引说成文档到词的映射,方向说反
- 所有字段都用 text 类型,导致无法精确聚合且浪费空间
- 以为写入后立刻能搜到,忽略 refresh 带来的近实时延迟
- 中文直接用默认分词器,被切成单字,检索效果差
面试官常见追问
- text 和 keyword 类型有什么区别?
- 为什么中间要加 Kafka?
- 日志量很大时 ES 怎么优化?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。