有效防止softmax计算时上溢出（overflow）和下溢出（underflow）的方法

《Deep Learning》（Ian Goodfellow & Yoshua Bengio & Aaron Courville）第四章「数值计算」中，谈到了上溢出（overflow）和下溢出（underflow）对数值计算的影响，并以softmax函数和log softmax函数为例进行了讲解。这里我再详细地把它总结一下。 『1』什么是下溢出（underflow）和上溢出（overflow） 　

>>阅读原文<<