Softmax 函数数值稳定性

Softmax 函数数值稳定性 我们在使用计算机数学运算时需要使用有限的比特位来表达实数，这会导致近似误差的产生。近似误差可以在多步数值运算中传递、积累，从而导致理论上成功的算法失败。 几种常见的误差产生就是上溢出和下溢出。 下面具体看softmax的稳定性： tips：以下大写表示向量 上式①中是 softmax(X) 函数，根据式子易得：当x趋于负无穷时exp(x)下溢出；x趋于正无穷时，ex

>>阅读原文<<