RL 策略的安全性与鲁棒性评估及自动化红队
哪些公司问过
百川智能1
答案要点
- 安全性:多类风险评测集,看有害输出比例、攻击成功率,同时监控过度拒绝率
- 鲁棒性:对抗改写、编码绕过、分布外输入、多轮诱导下的表现
- RL 特有风险:奖励黑客、谄媚、RL 后安全能力退化,需与 RL 前模型对比
- 自动化红队:攻击模型按目标生成提示,判别模型自动判定,成功样本变异迭代并鼓励多样性
- 闭环:人工抽检校准自动判定,漏洞回流训练数据与回归测试集
易错点
- 只看攻击成功率不看过度拒绝,导致模型可用性下降
- 只评估最终模型,不与 RL 前对比安全能力是否退化
- 完全依赖自动判定,不做人工校准
面试官常见追问
- 如何设计自动化 Red-Teaming 来发现 RL 漏洞?
- 如何设计 RL 的在线评估指标(无需人工标注)?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。