[PaperReading]*Bi-Directional Attention Flow For Machine Comprehension

概述 attention一直在做的,是将原本的数据信息,有重点有方向地进行总结。这篇文章注意到一个问题,那就是在attention机制上,之前的工作总是在得出attention权重后对于原数据进行总结summary,这使得得到了attention结果的同时,丢失了部分原数据的信息,并且还可能破坏训练得到的attention的意义(个人觉得做乘法取概率不一定是attention的最终归宿)。本文就以
相关文章
相关标签/搜索