深度学习中的batch、epoch、iteration的含义+在线学习+dropout

dropout会使得收敛速度变慢，但是会防止我们过拟合。 什么时候用dropout？ 当我们用的大模型，goolenet等模型，但是我们自己准备的样本很少，避免过拟合情况，所以这个时候dropout起到了很关键的作用了。 深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。 第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集

>>阅读原文<<