CReLU激活函数

一种改进ReLU激活函数的文章，来自ICML2016. 文章链接： 《Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units》 1. 背景介绍 整个文章的出发点来自于下图的统计现象： 为了看懂上图。 （1）首先介绍一下余弦相似度(cos距离)的概念 cos距离

>>阅读原文<<