多模态大模型产生幻觉的主要原因
哪些公司问过
答案要点
- 语言先验过强与物体共现偏差,模型按语言规律续写不存在的内容
- 视觉编码器分辨率与细粒度感知不足,小物体和文字识别差
- 视觉与语言模态对齐不充分,细粒度对应缺失
- 训练图文数据有噪声,描述与图像不一致;长文本后段对视觉注意力减弱
- 评估常用 POPE、CHAIR;缓解可用高分辨率、清洗数据、偏好优化、对比解码
易错点
- 只归因于解码,忽视数据与对齐问题
- 把幻觉只理解为物体存在性错误,忽略属性、数量与关系错误
- 为减少幻觉让模型过度保守,导致什么都答不确定
面试官常见追问
- 遇到视觉反常识场景,如何借助后训练、RAG、规则缓解幻觉?
- 用后训练解决幻觉,数据集怎么搭?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。