Attention mechanism总结

Attention mechanism 总结：Attention机制简单来说就是一种信息过滤或者提取机制类似于记忆或者门控机制，用来筛选、更新信息。   类比于人脑，神经网络中可以存储的信息量称为网络容量。要存储的信息越多，神经元数量就越多或者网络越复杂，大量的信息增加了存储负担和计算开销。由于人脑每个时刻接收的外界信息非常多，在有限的资源下，并不能同时处理这些过载的输入信息。大脑神经系统通过注意

>>阅读原文<<