DNN的BP算法Python简单实现(2017)

BP算法是神经网络的基础，也是最重要的部分。因为偏差反向传播的过程当中，可能会出现梯度消失或者爆炸，因此须要调整损失函数。在LSTM中，经过sigmoid来实现三个门来解决记忆问题，用tensorflow实现的过程当中，须要进行梯度修剪操做，以防止梯度爆炸。RNN的BPTT算法一样存在着这样的问题，因此步数超过5步之后，记忆效果大大降低。LSTM的效果可以支持到30多步数，太长了也不行。若是要求更

>>阅读原文<<