OpnAI推出深度神经网络模型 拥有自我注意力机制

OpnAI近日开发了一套深度神经网络模型Sparse Transformer，透过改良过的注意力（attention）机制算法，来萃取出更多序列中的模式，进而预测出序列中下一段文字、图像或是语音，OpenAI指出，在AI研究领域现存的一项挑战就是，训练并预测长范围、不易察觉相互关系的复杂数据，像是图像、影片或是语音等数据，Sparse Transformer模型加入了自我注意力机制，再加上一些改良

>>阅读原文<<