Informer 长序列时序预测模型原理
哪些公司问过
答案要点
- 动机:长序列下自注意力 O(L^2) 复杂度、多层堆叠显存高、逐步解码慢且误差累积
- ProbSparse 注意力:用最大值减均值衡量 query 稀疏度,只选 Top-u(约 c·lnL)个 query 计算
- 未选中的 query 输出取 V 的均值,整体复杂度约 O(L log L)
- 自注意力蒸馏:层间一维卷积加 ELU 加步长 2 最大池化,序列长度逐层减半
- 生成式解码器:已知片段作起始 token 加占位符,一次前向输出整段预测
易错点
- 说成所有 query 都做稀疏采样,忽略被选中的 query 仍做完整注意力
- 混淆自注意力蒸馏与知识蒸馏,前者是降采样不是师生模型
- 说解码器是自回归的,实际是一次性生成
面试官常见追问
- ProbSparse 为什么用最大值减均值?
- 后续有哪些工作改进了它?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。