多模态文档解析的流程
哪些公司问过
答案要点
- 类型识别:原生文档直接抽取,扫描件与图片走 OCR
- 版面分析:检测标题、段落、表格、图片、公式等区域,恢复阅读顺序
- 元素解析:表格还原结构,公式转 LaTeX,图片用多模态模型生成描述并保留原图
- 结构重建:按标题层级组织,去除页眉页脚等噪声
- 切块入库:按章节语义切块,附页码和标题路径元数据,图文分别或联合向量化
易错点
- 不做阅读顺序恢复,双栏文档被按行串在一起
- 把表格当普通文本切块,结构信息丢失
- 只存图片描述不保留原图,回答时无法核对细节
面试官常见追问
- 早融合、中融合、晚融合分别适合什么场景?
- 表格跨页怎么处理?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。