神经网络概念总结

三种拟合方式： 防止过拟合的三种方式： c0 表示代价函数  也可理解为 代价函数加上正则化项  正则化项中的n表示样本个数 w表示权值   为可调参数 以下各种优化器： 标准梯度下降算法在样本小的时候可以用 ，随机梯度下降算法容易引入噪点导致向错误的方向下降 ，实际工作中用批量梯度下降算法比较多。 SGD就是随机梯度下降算法，其中 大家函数的梯度就是代价函数对W求导 在SGD基础上 做一些优化 

>>阅读原文<<