自然语言处理中的注意力机制是干什么的?

谈神经网络中注意力机制的论文和博客都不少,但很多人还是不知道从哪看起。于是,在国外问答网站Quora上就有了这个问题:如何在自然语言处理中引入注意力机制? 技术主管Nikhil Dandekar做出了一个简要的回答: 概括地说,在神经网络实现预测任务时,引入注意力机制能使训练重点集中在输入数据的相关部分,忽略无关部分。 注意力是指人的心理活动指向和集中于某种事物的能力。比如说,你将很长的一句话人工
相关文章
相关标签/搜索