【NLP复习】CNN（TextCNN）、RNN、LSTM、GRU

时间 2021-01-15

标签 NLP校招总复习繁體版

原文原文链接

一、CNN（TextCNN） TextCNN跟传统CNN的区别：卷积核不是正方形的，宽度跟词向量维度相等。二、RNN 缺陷：长期依赖不大行；反向传播时前面梯度为后面梯度联乘，依赖于激活函数和网络初始参数，可能会梯度消失（sigmoid）或者爆炸（relu）。三、LSTM 第一步：忘记门，决定细胞状态需要丢弃哪些信息。ft输出0-1的数。极端情况，0表示不保留，1表示都保留。第二步，输入门，决

>>阅读原文<<

1. TextCNN/RCNN/LSTM/GRU
2. RNN,LSTM,GRU学习
3. RNN、LSTM、GRU
4. RNN&LSTM&GRU
5. RNN - LSTM - GRU
6. RNN、GRU、LSTM
7. 【深度学习】RNN | GRU | LSTM
8. 【深度学习】RNN、GRU、LSTM
9. RNN-LSTM-GRU学习笔记
10. LSTM、GRU、 BRNN、Hierarchical RNN
更多相关文章...
• ionic 复选框 - ionic 教程
• XSD 复合元素 - XML Schema 教程
• Tomcat学习笔记（史上最全tomcat学习笔记）
• Kotlin学习（二）基本类型