VLA 视觉-语言-动作模型的基本架构
哪些公司问过
原力灵机1
答案要点
- 组成:视觉编码器、语言模型主干、动作输出模块,输入为图像、指令和本体状态
- 自回归离散化:如 RT-2、OpenVLA,把动作量化为词元逐个生成
- 连续动作生成:如 π0 用流匹配动作专家,或用扩散策略
- 动作分块:一次预测未来一段动作,提升平滑性和有效控制频率
- 训练:图文预训练 VLM,再用机器人演示数据模仿学习微调
易错点
- 把 VLA 当成 VLM 加文本指令解析,忽视动作输出与机器人数据
- 认为离散化动作没有精度损失
- 忽视推理延迟对实时控制的影响
面试官常见追问
- action chunking 是什么?
- 自回归策略和扩散策略有什么区别?
- VLM 和 VLA 的区别?真实部署有哪些问题?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。