HumanEval、MBPP、APPS 的数据结构与评估方式
哪些公司问过
答案要点
- HumanEval:164 道手写 Python 题,含签名加 docstring 的 prompt、参考解、测试与入口函数
- MBPP:约一千道入门 Python 题,含描述、参考代码和通常三条 assert 测试
- APPS:一万道竞赛题,分入门、面试、竞赛三档,含输入输出测试用例
- 主要指标 pass@k,无偏估计为 1 - C(n-c,k)/C(n,k)
- 生成代码需在沙箱中执行并设超时,警惕数据污染
易错点
- 把 pass@k 理解为 k 次里通过的比例
- 忽略这些公开集可能已进入训练数据,存在污染风险
- 不在沙箱中执行生成代码,带来安全隐患
面试官常见追问
- 你的方法相对 baseline 的效果和 token 节省怎么汇报?
- 为什么 pass@k 不直接用 k 个样本算?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。