AI从业者需要应用的10种深度学习方法(下)

6-批量归一化 当然,包括深度网络在内的神经网络需要仔细调整权重初始化和学习参数。批量归一化有助于让中国过程更简单一点。 权重问题: ·       无论那种权重的初始化,随机还是凭经验选择,它们都和学习权重差别很大。考虑一个小批量数据集,在最初的时期,在特征激活时都会有许多异常值。 ·       深度神经网络本身脆弱的,即初始层的微小扰动都会导致后面层很大的变化。 在反向传播期间,这些现象会导
相关文章
相关标签/搜索