机器学习5. RNN/LSTM/GRU 反向传播公式推导；encoder-decoder框架/attention机制汇总

研究生期间主要科研的内容，把基本公式推一推。 encoder-decoder机制 核心：处理不定长数据时，先使用一个encoder模型（可以是任何模型，这里以RNN为例），将输入数据压缩成一个固定长度的隐表示 c c c。然后使用另一个decoder模型依次展开隐表示 c c c得到我们需要的内容。 应用举例： 文本翻译 问答系统 但是这样是有问题的，就是当输入很长的时候，把他们都压缩到 c c

>>阅读原文<<