困惑度 PPL 的定义、公式与局限
哪些公司问过
答案要点
- 定义:测试集上平均负对数似然的指数,等价于 exp(交叉熵)
- 公式:PPL = exp(-1/N · Σ log P(w_i|w_<i)),越低表示预测越好
- 依赖分词:不同 tokenizer 下 N 和单 token 信息量不同,不可直接横向比较
- 依赖数据分布:测试集领域不同,PPL 不可比
- 不等价于下游效果:不直接反映生成质量、事实性和指令遵循
易错点
- 拿不同词表的模型直接比较 PPL 大小
- 把 PPL 低等同于模型回答质量好
- 忘记 PPL 依赖测试集,跨数据集比较数值没有意义
面试官常见追问
- 为什么不同 tokenizer 下的 Perplexity 不能直接横向比较?
- PPL 和交叉熵损失什么关系?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。