深度学习self-attention流程详解（qkv）

一.从InputEmbedding和PositionalEnocding提及 1.将原文的全部单词汇总统计频率，删除低频词汇（好比出现次数小于20次的统一 定义为’<UNK>’）；此时总共选出了假设10000个单词，则用数字编号为0~9999，一一对应，定义该对应表为word2num；而后用xaviers方法生成随机矩阵Matrix ：10000行N列（10000行是肯定的，对应10000个单词，

>>阅读原文<<