多模态交互中的多模态指哪些模态
哪些公司问过
答案要点
- 多模态指同时处理和融合多种信息形式,每种形式是一种模态
- 常见模态:文本、图像、语音或音频、视频
- 交互扩展模态:手势姿态、眼动、触觉反馈、IMU等传感器、点云
- 价值在于模态互补,交互更自然、对单一模态失效更鲁棒
- 难点:跨模态语义对齐、时间同步、模态缺失或噪声下的融合
易错点
- 只说文本和图像,忽略语音、视频以及交互场景的传感器模态
- 把多模态等同于多个单模态模型简单拼在一起,忽视对齐与融合
- 混淆模态和数据格式,比如把不同图片格式当成不同模态
面试官常见追问
- 多模态融合有哪些常见方式?
- CLIP是怎么做图文对齐的?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。