面试题库 › 算法 / 大模型 › 新词发现的原理与实现

新词发现的原理与实现

难度 ★★★在 2 场真实面经中被问到 方向:算法 / 大模型考点:词向量与文本表示

哪些公司问过

网易考拉2

常见岗位:NLP / 语音

答案要点

  1. 新词发现:从语料里挖掘词典中没有的词
  2. 内部结合紧密度:互信息或点互信息,越大越像一个整体
  3. 外部自由度:左右邻接熵,真正的词左右搭配丰富,熵高
  4. 流程:n 元候选,统计词频,计算互信息和邻接熵,阈值筛选
  5. 过滤已有词和停用词,排序后人工审核;也可用序列标注或预训练模型辅助

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题