Softmax， stable softmax, softmax loss， cross entropy loss

1.softmax 公式： python： def softmax(X):     exps = np.exp(X)      return exps / np.sum(exps) 对于softmax理解，就是一种平滑的归一化。假如我们使用线性的归一化，就很均匀，softmax相当于给比较大的数值大的权重，比如python里面： plt.plot(range(1, 20), np.exp(ra

>>阅读原文<<