Elmo/GPT/Eert/Attention/Transformer总结
elmo、GPT、bert三者区别 它们都是基于语言模型的动态词向量。下面从几个方面对这三者进行对比： （1）特征提取器：elmo采用LSTM进行提取，GPT和bert则采用Transformer进行提取。很多任务表明Transformer特征提取能力强于LSTM，elmo采用1层静态向量+2层LSTM，多层提取能力有限，而GPT和bert中的Transformer可采用多层，并行计算能力
相关文章
- 1. 总结 总结
- 2. [总结]jvm总结
- 3. 【总结整理】总结
- 4. 【总结】哈希表总结
- 5. 由J2EE总结看总结
- 6. JVM总结---各处总结
- 7. 【总结】AngularJs学习总结
- 8. EDID总结-----/*自己总结*/
- 9. Java总结 - clone总结
- 10. 结对总结
- 更多相关文章...
- • Docker 资源汇总 - Docker教程
- • XML 总结 下一步学习什么呢？ - XML 教程
- • 算法总结-双指针
- • 算法总结-回溯法
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章
- 1. 总结 总结
- 2. [总结]jvm总结
- 3. 【总结整理】总结
- 4. 【总结】哈希表总结
- 5. 由J2EE总结看总结
- 6. JVM总结---各处总结
- 7. 【总结】AngularJs学习总结
- 8. EDID总结-----/*自己总结*/
- 9. Java总结 - clone总结
- 10. 结对总结