视频内容理解中 ASR、OCR 与视觉模型如何组合
哪些公司问过
萌力无限1
答案要点
- 三路信息:音频走 ASR、画面中的文字走 OCR、画面语义走视觉语言模型,按时间戳对齐融合
- 抽帧策略:固定间隔、镜头切换检测、关键帧,并对相似帧去重以控制成本
- 文字密集画面(字幕、PPT、票据)优先 OCR,识别精确、成本低、带位置信息
- 场景、动作、物体关系等语义用视觉语言模型理解,可把 OCR 结果作为补充上下文
- 长视频受上下文和成本限制,常见做法是分段理解再汇总,或建立分段检索索引
易错点
- 逐帧调用视觉模型,成本和延迟不可接受
- 认为视觉大模型能完全替代 OCR,忽略小字和数字的识别错误
- 各模态结果不做时间对齐,摘要中语音与画面内容错位
面试官常见追问
- 视觉语言模型自己能识别文字,为什么还要 OCR?
- 抽帧太稀疏漏掉信息怎么办?
- 多路结果怎么对齐融合?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。