面试题库 › 算法 / 大模型 › 常用分词算法与维特比算法

常用分词算法与维特比算法

难度 ★★☆在 4 场真实面经中被问到 方向:算法 / 大模型考点:概率图模型

哪些公司问过

蔚来1腾讯1腾讯音乐1网易考拉1

常见岗位:软件开发、推理部署与加速、NLP / 语音

答案要点

  1. 词典法:正向、逆向、双向最大匹配,简单快但依赖词典
  2. 统计法:n-gram、HMM、CRF,作为序列标注,标 B、M、E、S
  3. 深度学习:BiLSTM 加 CRF,基于 BERT 的标注;大模型用子词分词 BPE、WordPiece
  4. 维特比是动态规划,在 HMM 里求概率最大的状态序列
  5. 递推每个位置各状态的最大概率并记录来源,最后回溯,复杂度 O(n×状态数²)

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题