fastText 训练方式及 Word2Vec 与 GloVe 的区别
哪些公司问过
拼多多1平安科技1
答案要点
- fastText 分类:词和 n-gram 向量求平均 → 线性层 → softmax/层次 softmax,监督训练
- fastText 词向量:skip-gram/CBOW + 字符 n-gram,词向量为子词向量之和,可处理 OOV
- n-gram 通过哈希桶映射,控制参数规模
- Word2Vec:局部窗口预测任务,skip-gram 或 CBOW,负采样或层次 softmax 加速
- GloVe:全局共现矩阵,目标为 f(X_ij)(w_i·w̃_j + b_i + b̃_j − log X_ij)² 的加权最小二乘
易错点
- 把 fastText 当成深度模型:它是浅层线性模型,强在速度和子词信息
- 以为 GloVe 是神经网络预测模型:它是基于共现计数的回归目标
- 说 Word2Vec 能处理未登录词:原版 Word2Vec 不能,fastText 的子词机制才能
面试官常见追问
- fastText 的原理是什么,为什么快?
- skip-gram 和 CBOW 怎么选?
- 负采样是怎么做的?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。