神经网络CNN训练心得--调参经验

1.样本要随机化,防止大数据淹没小数据网络 2.样本要作归一化。关于归一化的好处请参考:为什么须要归一化处理 3.激活函数要视样本输入选择(多层神经网络通常使用relu) 4.mini batch很重要,几百是比较合适的(很大数据量的状况下) 5.学习速率(learning rate)很重要,好比一开始能够lr设置为0.01,而后运行到loss不怎么降的时候,学习速率除以10,接着训练 6.权重初
相关文章
相关标签/搜索