深度学习中的注意力机制概述

        在介绍注意力机制之前，先介绍神经网络中的一个重要概念：网络容量（Network Capacity），网络容量指神经网络中可以存储的信息量，一般来讲，一组神经元能够存储信息的容量和神经元的数量以及神经网络的复杂度成正比，要存储更多的信息，神经元的数量就要越多、网络结构就要越复杂，这些都会导致计算复杂度成倍增长。         人脑的生物神经网络同样存在着网络容量问题，人脑每时每刻从

>>阅读原文<<