读书笔记26:adding attentiveness to the neurons in recurrent neural networks

https://arxiv.org/pdf/1807.04445.pdf 摘要首先介绍RNN可以模拟复杂的序列信息的temporal dynamics,但是当前的RNN神经元的结构主要是控制当前信息和历史信息的贡献,但是没有考虑探索input vector中不同元素的重要性(这个指的是某一个时刻的vector的不同dimension的重要性),因此本文提出了element-wise-attenti
相关文章
相关标签/搜索