机器学习 复习二(神经网络和支持向量机)

激活函数: 反向传播算法BP: 基于梯度下降策略:由于负梯度方向是函数值下降最快的方向,因此梯度下降法就是沿着负梯度方向搜索最优解。 学习速率:控制着算法每一轮迭代中的更新步长, 太大则容易震荡,太小则收敛速度又会过慢常设置为 η=0. 1. 全局最小与局部最小:跳出局部极小方法 随机梯度下降:在计算梯度时加入了随机因素.于是即便陷入局部极小点?,它计算出 的梯度仍可能不为零3 这样就有机会跳出局
相关文章
相关标签/搜索