DeepLearning学习笔记之ReLU函数

一、什么是稀疏激活函数（ReLU） ReLU全称是Rectified Liner Uints,其具体形式为y=max(0,x)。         ReLU具有：1、单侧抑制；2、相对宽阔的兴奋边界；3、稀疏激活性等优点。 二、为什么ReLU更有效？   生物研究表明：生物神经元只对输入信号中很少部分进行响应，大部分信号则被刻意屏蔽掉了。这样做可以更好的提高学习精度，更好更快的提取稀疏特征。这表现为

>>阅读原文<<