元学习系列(五):GRU模型

之前提到的孪生网络那类模型,简单来说他们都是把训练集作为先验知识进行建模,而像LSTM、GRU、神经图灵机这一类模型则提供了另一个新思路,那就是引入外部记忆,在训练过程中通过训练集对外部记忆进行修改,从而在测试的时候利用外部记忆作为先验知识。 LSTM和RNN相比,引入了长期记忆和门结构,缓解了长期依赖问题。所谓的门结构,就是sigmoid函数,通过sigmoid函数分析应该遗忘什么、记忆什么和输
相关文章
相关标签/搜索