PyTorch 中交叉熵损失的实现
哪些公司问过
答案要点
- nn.CrossEntropyLoss / F.cross_entropy 内部等价于 log_softmax + NLLLoss
- 输入为未归一化的 logits(N×C),标签默认为 long 类型的类别索引(长度 N)
- 计算:log_softmax 后按标签取对数概率、取负,再按 reduction 求均值或求和
- 数值稳定:内部使用 log-sum-exp,减最大值防止指数溢出
- 常用参数:weight 类别加权、ignore_index 忽略填充位、label_smoothing 标签平滑
易错点
- 网络末尾先加 softmax 再传入 CrossEntropyLoss,相当于重复归一化
- 把 float 型 one-hot 和类别索引两种标签格式混用,导致报错或语义错误
- 先 softmax 再 torch.log 手动计算,可能出现 log(0) 数值问题
面试官常见追问
- 手写交叉熵怎么写才数值稳定?
- 多标签分类用什么损失?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。
相关面试题
- Dataset、DataLoader 和 Sampler 的区别4 场
- TensorFlow 与 PyTorch 的特点与区别2 场
- TensorFlow 图优化与 torch.compile 原理2 场
- PyTorch 计算图与 autograd 机制原理2 场
- concat 与 stack、reshape 与 transpose 的区别2 场
- MLIR 是什么以及为什么要设计 MLIR2 场
- PyTorch 中 nn.Module 与 nn.functional 的区别2 场
- 机器学习 / 深度学习框架的原理与对比2 场
- PyTorch DataLoader 与 Sampler 的区别1 场
- 介绍一下 PyTorch 框架1 场