RAG 文档解析中 PDF 插图如何处理及多模态扩展
哪些公司问过
答案要点
- 版面分析抽取图片、图注和坐标,单独保存图片
- 图中文字做 OCR,图表用多模态模型生成描述
- 图片描述与图注、上下文正文合并成片段,记录页码坐标
- 检索命中时返回原图,便于展示和核对
- 多模态扩展:图文统一向量空间检索,多模态模型直接理解图片
易错点
- 直接丢弃 PDF 中的图片
- 图片描述与上下文脱节,检索时缺少语义
- 不保留页码和坐标,无法溯源
面试官常见追问
- 图片描述生成成本高怎么办?
- 表格图片怎么处理?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。