深度学习：注意力机制与外部记忆

前言 神经网络中可以存储的信息量称为网络容量（Network Capacity）. 一般来讲，其存储容量和神经元的数量以及网络的复杂度成正比. 如果要存储越多的信息，神经元数量就要越多或者网络要越复杂，进而导致神经网络的参数成倍地增加。对于人类来说，在有限的资源下，并不能同时处理这些过载的输入信息，而大脑神经系统有两个重要机制可以解决信息过载问题：注意力和记忆机制。那么神经网络同样也是可以通过这两

>>阅读原文<<