用 sin 函数作为激活函数存在什么问题
答案要点
- 周期且非单调,多个输入对应同一输出,导数 cos(x) 符号周期翻转,损失曲面多局部极小、优化易震荡
- 初始化敏感:预激活过小时 sin(x)≈x 近似线性,过大时输出剧烈振荡、梯度近似随机
- 常规 CNN、Transformer 多用 ReLU、GELU 等更易优化的激活
- SIREN 在隐式神经表示中用 sin 激活,配合专门初始化和首层频率缩放,擅长拟合高频细节
- 零中心和输出含负值并非缺点,sin 也不饱和,核心问题是周期振荡与初始化敏感
易错点
- 把输出含负值当成 sin 的缺点,tanh 同样零中心,反而有利于优化
- 断言 sin 完全不能作激活,忽略 SIREN 等成功用法
- 把问题归结为梯度饱和,sin 的导数不随输入增大趋于 0,问题在周期振荡
面试官常见追问
- SIREN 的初始化有什么讲究?
- 为什么隐式神经表示用 ReLU MLP 效果差?
- 好的激活函数一般需要什么性质?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。