Non-local Neural及Self-attention

@Non-local Neural及Self-attention Non-local Neural及Self-attention 1 创新点 无论cv还是nlp，都需要捕获长范围依赖。在时间序列任务中RNN操作是一种主要的捕获长范围依赖手段，而在CNN任务中通过堆叠多个卷积模块来形成大的感受野。目前的卷积核循环算子都是在空间和时间上的局部操作，长范围依赖捕获是通过重复堆叠，并且反向传播得到，存在3

>>阅读原文<<