面试题库 › 算法 / 大模型 › Informer 长序列时序预测模型原理

Informer 长序列时序预测模型原理

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:机器学习基础概念

哪些公司问过

百度1

常见岗位:大模型算法

答案要点

  1. 动机:长序列下自注意力 O(L^2) 复杂度、多层堆叠显存高、逐步解码慢且误差累积
  2. ProbSparse 注意力:用最大值减均值衡量 query 稀疏度,只选 Top-u(约 c·lnL)个 query 计算
  3. 未选中的 query 输出取 V 的均值,整体复杂度约 O(L log L)
  4. 自注意力蒸馏:层间一维卷积加 ELU 加步长 2 最大池化,序列长度逐层减半
  5. 生成式解码器:已知片段作起始 token 加占位符,一次前向输出整段预测

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题