独角栗 发自 凹非寺
量子位 报道
△ 左为GPT-2，右为BERT
上周，OpenAI脑洞天大的语言模型GPT-2，用独角兽的故事震精了世界。python
谷歌BERT“史上最强”的位子没坐多久，便有了光芒万丈的后辈。git
现在，那个帮BERT作了PyTorch实现的团队，已经火速在BERT项目里增长了GPT-2支持，并收到了推特用户的盛赞。github
看来，就算GPT-2只开源了缩小版，也值得珍惜，毕竟是有1.17亿个参数的模型。web
都到碗里来
十几个小时前，名叫HuggingFace (抱抱脸) 的团队，发布了Pytorch-bert v0.6更新。微信
此次更新的内容，就是增长了GPT-2缩小版的预训练模型，以及与模型搭配的经常使用脚本示例。学习
不过，为OpenAI家的语言模型添加支持，在Pytorch-bert项目里，已经不是第一次了：优化
一周前发布的v0.5，就增长了GPT，那是GPT-2的上一代。url
同时增长的，还有谷歌的Transformer-XL，那是1月中旬发布的语言模型，能够理解超长的上下文关系，比普通Transformer快1800多倍。spa
也就是说，地球上知名NLP模型的PyTorch实现，正在项目里面不断集结，场面一派祥和。.net
这个学名叫pytorch-pretrained-BERT的项目，已在GitHub上收集了3600多颗星。
固然，项目的主业仍是BERT，有三个BERT模型提供：
第一个是原味BERT，第二个是带序列分类器的BERT，第三个是带token分类器的BERT (用来作问答) 。
来吧，抱抱脸
HuggingFace (“抱抱脸”) 团队本来就是作聊天机器人的，因此主要的贡献也在天然语言处理 (NLP) 领域。
除了BERT的PyTorch实现以外，团队还发布过许多其余的源代码和友善的教程，也都是基于PyTorch。
好比，教你给NLP任务加速100倍：
https://medium.com/huggingface/100-times-faster-natural-language-processing-in-python-ee32033bdced
用PyTorch实现了从语言中识别情绪的DeepMoji模型：
https://github.com/huggingface/torchMoji
还用PyTorch实现了OpenAI优化过的Transformer模型：
https://github.com/huggingface/pytorch-openai-transformer-lm
因此，发生了GPT-2这样的重大进展，“抱抱脸”天然是及时响应了。
管他OpenAI敢不敢开源15亿参数的完整模型，管他要不要更名ClosedAI呢。
Pytorch-bert传送门，GPT-2已加入：
https://github.com/huggingface/pytorch-pretrained-BERT
推荐阅读
15亿参数的NLP模型究竟有多强大？有人用它生成了一部《哈利·波特》
关于图书
《深度学习之TensorFlow：入门、原理与进阶实战》和《Python带我起飞——入门、进阶、商业实战》两本图书是代码医生团队精心编著的 AI入门与提升的精品图书。配套资源丰富：配套视频、QQ读者群、实例源码、 配套论坛：http://bbs.aianaconda.com 。更多请见：aianaconda.com
点击“阅读原文”配套图书资源
本文分享自微信公众号 - 相约机器人（xiangyuejiqiren）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。