深度学习（DL）-- DNN损失函数和激活函数的选择详解

DNN损失函数和激活函数的选择 现对DNN损失函数和激活函数的搭配与选择进行梳理： （1）均方差损失函数+Sigmoid激活函数      首先回顾下Sigmoid激活函数的表达式为：          σ(z)的函数图像如下：          从图上可以看出，对于Sigmoid，当z的取值越来越大后，函数曲线变得越来越平缓，意味着此时的导数σ′(z)也越来越小。同样的，当z的取值越来越小时，也

>>阅读原文<<