面试题库 › 算法 / 大模型 › 困惑度 PPL 的定义、公式与局限

困惑度 PPL 的定义、公式与局限

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:模型评测

哪些公司问过

高德1

常见岗位:大模型算法

答案要点

  1. 定义:测试集上平均负对数似然的指数,等价于 exp(交叉熵)
  2. 公式:PPL = exp(-1/N · Σ log P(w_i|w_<i)),越低表示预测越好
  3. 依赖分词:不同 tokenizer 下 N 和单 token 信息量不同,不可直接横向比较
  4. 依赖数据分布:测试集领域不同,PPL 不可比
  5. 不等价于下游效果:不直接反映生成质量、事实性和指令遵循

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题