Word2Vec 负采样、层次Softmax与Sampled Softmax
哪些公司问过
答案要点
- 完整softmax每步计算量为O(V),词表大时不可行
- 层次softmax:Huffman树将V分类转为约logV次sigmoid二分类,概率为路径乘积
- 负采样:正例加按词频3/4次方采样的负例,转为二分类,每步只更新少量参数
- Sampled softmax:在目标类加采样负类上算softmax,并用减logQ修正采样偏差
易错点
- 说层次softmax用的是平衡二叉树,原始实现用的是按词频构建的Huffman树
- 以为负采样按词频均匀或原始词频采样,实际是词频的3/4次方
- 把sampled softmax和负采样混为一谈,忽略sampled softmax的logQ修正
面试官常见追问
- 负采样和NCE是什么关系?
- Skip-gram和CBOW有什么区别?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。