卷积神经网络CNN的一些基础概念理解

Relu函数的导数计算 先从最简单的开始，Relu激活在高等数学上的定义为连续（局部）不可微的函数，它的公式为 Relu(x)= x, x>0 0, x≤0 其在x=0处是不可微的，但是在深度学习框架的代码中为了解决这个直接将其在x=0处的导数置为0或1，所以它的导数也就变为了 δRelu(x)= 1, x>0 0, x<=0 Pooling池化操作的反向梯度传播 CNN网络中另外一个不可导的环节

>>阅读原文<<