cs231n 更好的优化

    这边开始讲到在训练网络的过程中,更好的优化,目前人们使用的正则化项减少过拟合,迁移学习,当你的测试数据小于预期时,怎么把问题转换成另一种问题。等问题。     在使用随机梯度下降法的时候,会遇到鞍点,局部最小值的问题。在训练大网络中,鞍点的问题更加的普遍。 而在一般实际训练的过程当中,我们使用的是小批量梯度下降法,所以在实际中训练的不是实际的梯度,这就相当于在梯度下降过程中加了干扰。 但这
相关文章
相关标签/搜索