神经网络激活函数ACT层

本文收集激活层常用函数，随时补加 ReLU   tensorflow中：tf.nn.relu(features, name=None) LReLU (Leaky-ReLU)    其中aiai是固定的。ii表示不同的通道对应不同的aiai.  tensorflow中：tf.nn.leaky_relu(features, alpha=0.2, name=None) PReLU   其中aiai是可以

>>阅读原文<<