深度学习经常使用激活函数之— Sigmoid & ReLU & Softmax

1. 激活函数 Rectified Linear Unit(ReLU) - 用于隐层神经元输出 Sigmoid - 用于隐层神经元输出 Softmax - 用于多分类神经网络输出 Linear - 用于回归神经网络输出（或二分类问题）     ReLU函数计算以下：                                 Sigmoid函数计算以下：                    

>>阅读原文<<