2018年下半年，别错过这些深度学习项目！

深度学习如今是一个很是火爆的领域，很难对其快速的发展一一记录。git

今年早些时候，做为尝试记录深度学习领域进展的第一步，本文做者Ross Taylor建立了网站Papers With Code。该网站是一个将深度学习研究论文与其实现代码相链接的社区。github

Papers With Code：www.paperswithcode.comweb

这个网站也使得做者对深度学习领域有了一个全面的了解。基于此，经过本文咱们能够看到AI的研究趋势是什么，社区正在采用哪些框架，以及哪些技术正在受到青睐。微信

最受欢迎的发布：BERT，vid2vid和graph_nets网络

Google AI的BERT论文在10月份引发了深度学习界的关注。本文提出了一种深度双向编码器模型，该模型可实现11种NLP任务的最早进性能，包括斯坦福问答（SQUAD）数据集。 Google AI开源了他们论文的代码，这是深度学习库类别中，得到最多的“星星”的开源代码。架构

论文下载地址：框架

https://arxiv.org/abs/1810.04805机器学习

论文代码：ide

https://github.com/google-research/bert性能

NVIDIA的一篇关于视频到视频合成的论文，是生成建模的又一个惊人结果，生成模型是过去几年中最受欢迎的深度学习领域之一。该文利用新颖的顺序生成器体系结构，以及诸如前景和背景先验等许多其余设计特征，修复了时间不连贯的问题、提升性能。 NVIDIA开源了他们的代码，欢迎程度位居第二。

论文下载地址：

https://arxiv.org/abs/1808.06601/

代码地址：

https://github.com/NVIDIA/vid2vid/

谷歌DeepMind关于图形网络的论文在今年年中受到了不少关注。图形网络是深度学习开始尝试的新型结构化数据（大多数深度学习应用都是基于向量和序列）。此开源库的受欢迎程度排列第三。

论文下载地址：

https://arxiv.org/abs/1806.01261v3

代码：

https://github.com/deepmind/graph_nets/

最受欢迎的社区：DeOldify，BERT和Fast R-CNN

DeOldify

DeOldify使用SA-GAN，这是一个从PG-GAN得到灵感的架构，应用两个时间尺度的更新规则。

DeOldify项目很是迷人。做者Jason Antic复现了许多生成建模领域的论文，包括自注意力GAN，逐步增加的GAN和两个时间尺度的更新规则。在撰写本文时，该项目的代码在GitHub上有超过4,000颗星。

DeOldify：https://github.com/jantic/DeOldify

BERT

基于PyTorch框架而实现的BERT也很是受欢迎。深度学习社区不断涌现的代码每每不是基于Tensorflow就是基于PyTorch，同时用两个框架实现的需求愈来愈大，这样能够方便整个深度学习社区使用它们。做者Junseong Kim的工做清楚地说明了这一点。目前，这个项目的代码在github上享有超过1,500个星星。

BERT：https://github.com/codertimo/bert-pytorch

Mask R-CNN

最后，Waleed Abdulla的基于Keras / TensorFlow实现Mask R-CNN是GitHub第三个得到星数最多的代码。在架构上，该实现使用特征金字塔网络和ResNet101基础网络，而且该库可用于许多应用，例如3D建筑物重建，自动驾驶汽车的物体检测，地图中的建筑物类型探测等。该库在GitHub上有超过8,000颗星。

论文下载地址：

https://arxiv.org/abs/1703.06870

代码：

https://github.com/matterport/Mask_RCNN

最热门应用：NLP和GAN

在前50个流行的实现应用中，生成模型和天然语言处理（NLP）是两大最热门领域。对生成模型而言，GitHub上的流行实现包括：vid2vid，DeOldify，CycleGAN和faceswaps。而在NLP中，流行的GitHub库包括BERT，HanLP，jieba，AllenNLP和fastText。

7篇新论文中1篇有代码

你的研究没有代码，你在社区上就不会备受关注，规则就是这样简单。如下是做者分析他本身平台上的论文代码复现状况：

分析基数是过去5年中60,000多份机器学习论文，在6万篇论文中，将近12％有代码实现。在过去的6个月中，约15％的新发表论文（即七分之一的论文）都发布了实现代码。

每隔20分钟，就有一篇新的机器学习论文

自7月以来，机器学习论文的增加率一直在每个月3.5％左右，以此计算，每一年的增加率约为50％。这意味着每个月大约2,200篇机器学习论文，预计明年将有大约30,000篇新的机器学习论文。

在过去3年中，做者网站上的机器学习论文的数量彷佛比摩尔定律的增加速度更快，这让你感受人们相信这将是将来计算技术价值的出处。

框架双头垄断：TensorFlow和PyTorch

虽然PyTorch并不落后，但网站上的大多数实现彷佛都是基于TensorFlow的。其余的框架（MXNet，Torch和Caffe2）在生态系统中的存在要小得多。鉴于两个框架中都发生了变化：TensorFlow正朝着即刻执行和由Keras激发灵感的新API方向发展；PyTorch则但愿可以更轻松地把模型产品化。