深度学习: Nonlinear (非线性)

定义： 对“乘”、“加”运算 闭合。 作用： 非线性很难形式化，但却是深度学习的 核心竞争力 。 正是由于网络中强大的非线性因素，我们得以 深度地抽象出 特征。 非线性函数主要存在于 激活函数、bn、pooling层 ，用来 增加模型容错能力（即 防止过拟合）。 Note: 假若网络中全部是线性部件，那么线性的组合 其实还是线性，与单独一个线性分类器无异。这样就根本做不到用非线性来逼近任意函数。

>>阅读原文<<