浙大机器学习课程-11-训练人工神经网络

过拟合：只在训练样本上有很好的表现，没法把这种好的表现推广到测试集 对梯度做均值化 使优化路径在每一个梯度上都比较一致：在梯度特别大的地方除以梯度的绝对值，在梯度特别小的地方也除以梯度的绝对值，结果是梯度高的地方步长变小，梯度绝对值低的地方步长变大，使优化路径在每一个梯度上都比较一致

>>阅读原文<<