深度学习一些参数的设置

在深度学习中参数的选取是相当重要的，记录一下一些参数的详解

权重初始化：表示初始化一个系数，用于加强或减弱每一个输入信号对于每一个节点。合理权重初始化能够节省大量的网络训练时                         间。调整一个好的权重系数，就能够更好的传递信号，在网络训练中就能更准确的归类。

激活函数： 指的是一系列的函数肯定一个信号经过每一个节点的阀值。若是信号在函数下面就会被阻塞，若是在函数上边就会被激 活。

正则化：正则化的方法有l2等能够帮助调整在神经网络中的过分拟合。正则化本质上用于惩罚大的系数，因为大的系数的     定义，意味着网络学习到把他的结果牵制在少部分的大的权重的输入。 当使用新的数据时，过大的网络很难概括一个    网络的模型。

损失函数：是一种评估错误的方式，或者是你网络预测和在你测试集中正确的标签的不一样。

学习率： 一个经典的学习率的值实在0.001和0.1之间。学习率。或者步速，是在一个搜索空间内一个函数步的速率。较小的学习率意味的更多的训练时间，但可能致使更准确的结果。

动量：在肯定如何快速的优化算法收敛，动量是一个额外的因素。