新词发现的原理与实现
哪些公司问过
网易考拉2
答案要点
- 新词发现:从语料里挖掘词典中没有的词
- 内部结合紧密度:互信息或点互信息,越大越像一个整体
- 外部自由度:左右邻接熵,真正的词左右搭配丰富,熵高
- 流程:n 元候选,统计词频,计算互信息和邻接熵,阈值筛选
- 过滤已有词和停用词,排序后人工审核;也可用序列标注或预训练模型辅助
易错点
- 只用词频,不用互信息和邻接熵
- 不过滤已有词典里的词
- 没有阈值和人工审核
面试官常见追问
- 为什么要看左右邻接熵?
- 互信息的缺点是什么?
- 怎么评估新词发现的效果?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。