《深度学习》学习笔记三——数值计算

目录 目录 上溢和下溢 基于梯度的优化方法 导数 偏导数 约束优化 参考资料 上溢和下溢 下溢(underflow)是一种极具毁灭性的舍入误差.当接近零的数被四舍五入为零时发生下溢 上溢(overflow)是一种极具破坏力的数值错误形式.当大量级的数被近似为 ∞ ∞ 或者 −∞ − ∞ 时发生上溢,进一步的运算通常会导致这些无限值变成非数字. softmax 函数(softmax function

>>阅读原文<<