常用分词算法与维特比算法
哪些公司问过
答案要点
- 词典法:正向、逆向、双向最大匹配,简单快但依赖词典
- 统计法:n-gram、HMM、CRF,作为序列标注,标 B、M、E、S
- 深度学习:BiLSTM 加 CRF,基于 BERT 的标注;大模型用子词分词 BPE、WordPiece
- 维特比是动态规划,在 HMM 里求概率最大的状态序列
- 递推每个位置各状态的最大概率并记录来源,最后回溯,复杂度 O(n×状态数²)
易错点
- 只说词典法,不提统计和深度学习方法
- 把维特比说成穷举所有路径
- 说不出 B、M、E、S 标注含义
面试官常见追问
- HMM 分词用到哪些概率?
- 最大匹配法有什么缺点?
- BPE 是怎么工作的?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。