传统 NLP 中分词与命名实体识别的常见算法
哪些公司问过
答案要点
- 分词:基于词典的最大匹配(正向/逆向/双向),基于统计的 n-gram 语言模型加动态规划
- 分词也可转为字级序列标注(BMES),用 HMM、CRF 等模型,能识别部分未登录词
- NER 是序列标注任务,常用 BIO/BIOES 标签体系
- NER 算法演进:规则与词典、HMM、CRF、BiLSTM-CRF、BERT 微调(可加 CRF)
- CRF 是判别式模型,可融合丰富上下文特征并建模标签转移约束
易错点
- 把 HMM 和 CRF 都说成判别式模型,HMM 是生成式
- 认为最大匹配能解决歧义,实际上它对交叉歧义和未登录词处理较弱
- 混淆 BIO 标注里 B 和 I 的含义,导致实体边界错误
面试官常见追问
- HMM 和 CRF 有什么区别?
- BiLSTM 后面为什么还要接 CRF?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。