手写两层神经网络(前向与反向)
哪些公司问过
答案要点
- 结构:输入 d → 隐藏 h(ReLU)→ 输出 c(softmax),W1:[d,h],W2:[h,c]
- 前向:Z1=XW1+b1,A1=ReLU(Z1),Z2=A1W2+b2,P=softmax(Z2),交叉熵损失
- 反向:dZ2=(P-Y)/N,dW2=A1^T dZ2,dA1=dZ2 W2^T,dZ1=dA1⊙(Z1>0),dW1=X^T dZ1
- 数值稳定:softmax 前减行最大值,log 内加 eps
- 随机初始化打破对称,用数值梯度检查验证实现
易错点
- 权重全部初始化为 0,隐藏单元无法打破对称
- 梯度忘记除以 batch 大小,学习率难调
- ReLU 反向时漏乘掩码,或误用 sigmoid 的导数
面试官常见追问
- 为什么 softmax 加交叉熵的梯度是 P-Y?
- 回归任务要怎么改?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。