TensorFlow 梯度下降算法

训练神经网络时，参数的初始值会很大程度影响最后得到的结果，只有当损失函数为凸函数时，梯度下降算法才能保证达到全局最优解。 优化点 参数初始值对结果影响很大，随机初始化 bacth梯度下降 设置学习率：太大参数容易摇摆，太小大大降低优化速度； 正则化 L1正则、L2正则、也可以同时使用。，刻画模型复杂度，表示所有参数，包括权重和偏置。一般来说模型复杂度只有权重决定。 TensorFlow中有两种方式

>>阅读原文<<