模型对齐(Alignment)的本质是什么
答案要点
- 对齐是让模型行为符合人类意图与价值观,常说有用、诚实、无害
- 技术手段包括指令微调、RLHF、DPO、红队测试、安全过滤
- 行为边界由人定义,涉及法律合规、文化差异与责任归属
- 有用性与安全性存在取舍,过度对齐会造成过度拒答
- 需跨团队制定规范并在上线后持续监控迭代
易错点
- 把对齐只当作一次性训练任务
- 只追求安全导致大量误拒,伤害有用性
面试官常见追问
- RLHF 和 DPO 有什么区别?
- 怎么评估对齐效果?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。