深度学习关于数值计算的学习笔记

1、上溢和下溢 由于计算机是用有限数量的位模式表现无限多可能的实数，所以计算机表示实数会带有一定的误差(特别是浮点数的运算)。因此多次计算中不断地产生的误差累加起来可能会导致算法的失效 （1） 下溢：由于数值精度不够导致接近零的数被四舍五入或截断为零（在某些算法中会直接导致算法失效，例如除数上有0，或者对数取0等，使得算数运算变为非数字。） （2）上溢：由于某种数据类型的数值精度不够，在记录一些超

>>阅读原文<<