稀疏自编码器的隐层激活函数不能用relu,要用sigmoid

我看的资料是Andrew课程的配套pdf,大家可以去网上找: 为什么不可以用relu 本文不讲稀疏自编码器的理论和原理,网上资料很多,上面的论文也讲得很好。直接说问题。 最近用稀疏自编码器做点事情,需要在传统普通自编码器的均方损失上加点正则化项,即稀疏性项。 看了论文里稀疏自编码器的思想以及对应的数学推导后,开始动手做。但是很快遇到一个没想到的问题,全网基本搜索不到这个问题,很多博文都是把稀疏自编
相关文章
相关标签/搜索