海量数据中的敏感词检测
答案要点
- AC 自动机:Trie + 失配指针,一次扫描找出所有敏感词
- 复杂度约 O(文本长度 + 命中数),与词库规模基本无关
- 海量数据:自动机广播到各节点,数据分片并行处理(Flink/MapReduce)
- 预处理归一化:全半角、大小写、繁简、去干扰符号,必要时考虑拼音与谐音
- 词库热更新:后台重建自动机,原子替换引用
易错点
- 对每个敏感词分别做 indexOf,词库大时性能很差
- 不做文本归一化,简单插入符号就能绕过
- 词库更新时在原自动机上直接修改,造成并发读写问题
面试官常见追问
- AC 自动机的失配指针是怎么构建的?
- 变体词、插入干扰符号怎么处理?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。