神经网络的学习技巧（含损失函数与激活函数关系、初始值、优化函数、DropOut等等）

0 写在前面 本文为了让初学者更加简单、直观地理解神经网络在训练中的技巧，以及明白为什么这样做能有效地提高训练效率，将神经网络中的本质过程一一阐述，弄清楚这些原理对初学者大有裨益。 本博客的内容绝大部分摘录于[日]斋藤康毅的《深度学习入门——基于Python的理论与实现》 1 输出层函数与损失函数的联系 神经网络在进行反向传播时，经过输出层函数得到预测输出与监督数据的差分 y i − t i y_

>>阅读原文<<