Attention 总结

1.self attention  Self attention 在NLP中有不少的应用，对于它的做用，我的以为是经过attention score，可以区分出文本的不一样部分对最终的任务有不一样的重要性，好比，对于文本的分类任务，不一样的字/词对于任务是有不一样的重要程度，Self Attention从《Attention Is All You Need》提出。html 具体过程能够参考《The

>>阅读原文<<