Attention!注意力机制可解释吗?

来源:哈工大SCIR 本文约9300字,建议阅读10+分钟。 本文将与您探讨注意力机制的可解释性问题。 序言 自2014年Bahdanau将Attention作为软对齐引入神经机器翻译以来,大量的自然语言处理工作都将其作为模型中一个提升性能的重要模块,大量的实验表明Attention机制是计算高效且效果显著的。随之而来的便是对其进行可解释性的探讨研究,一方面,人们希望能更好地了解其内在的机理来优化
相关文章
相关标签/搜索