多模态模型图像 Token 冗余的解决方案
哪些公司问过
答案要点
- 视觉 token 过多:序列长、成本高,且存在大量冗余背景
- 压缩:Q-Former 或 Perceiver Resampler 用可学习查询压缩成固定数量
- 合并池化:相邻 token 平均池化、像素重排、卷积下采样
- 剪枝:按注意力分数或相似度丢弃不重要、重复的 token
- 动态分辨率与自适应 token 数;长度限制靠最大像素数或图块数,缩放和截断
易错点
- 只说降低分辨率
- 不提可学习的压缩模块
- 没有考虑压缩对细粒度任务的影响
面试官常见追问
- 图像 Token 长度限制是怎么实现的?
- Q-Former 是怎么压缩的?
- 压缩 token 会带来什么代价?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。