「Deep Learning」Note on GELU(Gaussian Error Linear Unit)

Sina Weibo:小锋子Shawn Tencent E-mail:[email protected] http://blog.csdn.net/dgyuanshaofeng/article/details/80209816 Sigmoid激活函数虽然具有概率解释(probabilistic interpretation),但是具有如下缺点:1、使得网络收敛较慢(slow);2、使得网络参数解收
相关文章
相关标签/搜索