Self-Attention GAN的一些理解

其实那么多的attention机制，说白了就是一句话，从新分配权重，好比说如今有一个n维向量[x1, x2, x3..., xn]，我以为x1的值不足以表明其真实状况，因此但愿利用x2,...xn的值来对其进行“修补”, 而后就是要找到一组权重w1, w2, w3...wn, 对其求加权平均（也不必定是加权平均，看实际需求）来获得x1的最终值（固然，实际应用中会涉及到一些维度映射，Query-Ke

>>阅读原文<<