深度学习优化篇

模型要想训得好，参数优化不可少。 激活函数 一个复杂的神经网络，是有许多层的，其中最基本的单位便是神经元。一个线性神经元不断堆叠下去，永远都是线性关系。这就无法解决非线性问题，而不同的非线性映射函数的选择，就是激活函数的研究课题了。 为了解决非线性的问题，在感知机的基础上发展出了多层神经网络的概念。多层神经网络由输入层、多个中间层，以及输出层组成。 解决非线性问题的还可以使用非线性的激活函数，比如

>>阅读原文<<