花书第四章 数值计算

花书第四章笔记 数值计算 数值上溢和下溢 产生原因： 由于计算机的精度造成，超过浮点数的精度的部分数值就会被舍去。但是在我们正常退导中是不存在的。当操作数值极小或者极大的情况下可能引起上溢或者下溢。 深度学习底层框架需要考虑的数值稳定性。 下溢： 接近零的数被四舍五入为0时候发生下溢。 运算通常会导致这些无限值变为非数字 上溢：当大量级的数被近似为 ∞ \infty ∞ 或 − ∞ -\infty

>>阅读原文<<