神经网络与深度学习(三)

DNN面临的一大问题:梯度消失 若激励函数是sigmoid函数,它在z=0处取得导数最大值1/4,多个相乘自然趋近于零(把w取大,对应z很大,sigmoid的导数愈接近零) 卷积神经网络 1.不会用全连接网络去做图像分类? 要考虑图像的空间结构 这就产生了卷积神经网络 2.三点: 1)local receptive fields 2)shared weights 3)pooling Local r
相关文章
相关标签/搜索