李宏毅：Activation Function

时间 2020-12-24

原文原文链接

1、relu （1）relu （2）relu的变形（3）selu 下图中的iid表示独立同分布，输入a1...ak的mean是0，variance是 1，Selu希望得到输出的mean也是0，variance也是1。我们假设w1...wk的mean也等于0。我们假设weight的variance也是1。 SNN就是用selu （3）swish

>>阅读原文<<

1. 李宏毅__ML_Notes_5.11
2. 李宏毅__ML_Notes_4.21
3. 【李宏毅】CNN
4. 【李宏毅】RNN
5. 李宏毅——GAN
6. 李宏毅——transformer
7. transformer---李宏毅
8. 李宏毅：Batch Normalization
9. 9.GAN(李宏毅)
10. 李宏毅：Pointer Network
更多相关文章...
• SQL MIN() Function - SQL 教程
• XSLT function-available() 函数 - XSLT 教程
• Java 8 Stream 教程
• Docker容器实战(一) - 封神Server端技术