面试题库 › 算法 / 大模型 › 困惑度(Perplexity)的含义与计算

困惑度(Perplexity)的含义与计算

难度 ★☆☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:模型评测

哪些公司问过

携程1

常见岗位:大模型算法

答案要点

  1. 含义:衡量语言模型预测下一个 token 的不确定性,越低越好
  2. 公式:PPL = exp(−(1/N)·Σ log p(x_i | x_<i)),即平均交叉熵的指数
  3. 等价形式:各 token 条件概率乘积的 N 次方根的倒数;底数需与交叉熵一致
  4. 直观解释:有效分支数,在词表 V 上均匀猜测时 PPL = V
  5. 注意:不同分词器之间不可直接比较,长文本用滑动窗口,低 PPL 不等于下游效果好

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题