手写 Top-p(核)采样
哪些公司问过
答案要点
- logits 除以温度、减最大值后 softmax,按概率降序排序并保留原下标
- 累积求和,保留累积和首次达到 p 的最小前缀,至少保留一个 token
- 集合外概率置 0,剩余重新归一化后采样,再映射回原下标
- 累积和右移一位再比较,可保证跨过阈值的那个 token 被保留
- 复杂度 O(V log V);p=1 为普通采样,p 极小时近似贪心
易错点
- 截断时漏掉跨过阈值的那个 token,导致集合为空
- 截断后不重新归一化就采样
- 采样结果直接用排序后的下标,忘记映射回原词表下标
面试官常见追问
- Top-p 和 Top-k 的区别?
- 温度和 top-p 的先后顺序有影响吗?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。