面试题库 › 算法 / 大模型 › HumanEval、MBPP、APPS 的数据结构与评估方式

HumanEval、MBPP、APPS 的数据结构与评估方式

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:模型评测

哪些公司问过

字节跳动1

常见岗位:AI 应用 / Agent 开发

答案要点

  1. HumanEval:164 道手写 Python 题,含签名加 docstring 的 prompt、参考解、测试与入口函数
  2. MBPP:约一千道入门 Python 题,含描述、参考代码和通常三条 assert 测试
  3. APPS:一万道竞赛题,分入门、面试、竞赛三档,含输入输出测试用例
  4. 主要指标 pass@k,无偏估计为 1 - C(n-c,k)/C(n,k)
  5. 生成代码需在沙箱中执行并设超时,警惕数据污染

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题