TensorFlow神经网络优化：复杂学习率、激活函数、损失函数、过拟合、梯度爆炸、优化器

1. 神经网络的复杂度 1.1时间复杂度   时间复杂度即模型的运算次数，可用浮点运算次数（FPLOPs, FLoating-point OPerations）或者乘加运算次数衡量。上图中神经网络乘加运算次数： 3 × 4 + 4 × 2 = 20 3\times4+4\times2=20 3×4+4×2=20html 1.2空间复杂度   空间复杂度（访存量），严格来说包括两部分：总参数量 +

>>阅读原文<<