动手推导Self-Attention

  AI做者：陈扬    css AI编辑：陈人和nginx 前言git 译者: 在 medium 看到一篇文章从代码的角度,做者直接用 pytorch 可视化了 Attention 的 QKV 矩阵,以前我对 self-Attention 的理解仍是比较表面的,大部分时候也是直接就调用 API 来用, 看看原理也挺有意思的,做者同时制做了可在线运行的 colab做为演示,遂翻译给你们一块儿看看:

>>阅读原文<<