神经网络反向求导不可导情况处理

神经网络反向求导不可导情况处理 激活函数不可导 池化不可导 针对平均池化： max池化 激活函数不可导 深度学习算法通常需要进行反向求导，来更新模型的参数，这就要求激活函数满足处处可导的性质，例如传统的sigmoid函数等。但是，为了解决梯度消失等问题提出的relu系列函数却不满足处处可导性质。 r e l u ( x ) = m a x ( x , 0 ) relu(x)=max(x,0) re

>>阅读原文<<