TensorFlow与主流深度学习框架对比

引言：AlphaGo在2017年年初化身Master，在弈城和野狐等平台上横扫中日韩围棋高手，取得60连胜，何尝败绩。AlphaGo背后神秘的推进力就是TensorFlow——Google于2015年11月开源的机器学习及深度学习框架。 
TensorFlow在2015年年末一出现就受到了极大的关注，在一个月内得到了GitHub上超过一万颗星的关注，目前在全部的机器学习、深度学习项目中排名第一，甚至在全部的Python项目中也排名第一。本文将带咱们简单了解下TensorFlow，并与其余主流深度学习框架进行了对比。 
本文选自《TensorFlow实战》。

TensorFlow

　　TensorFlow是相对高阶的机器学习库，用户能够方便地用它设计神经网络结构，而没必要为了追求高效率的实现亲自写C++或CUDA代码。它和Theano同样都支持自动求导，用户不须要再经过反向传播求解梯度。其核心代码和Caffe同样是用C++编写的，使用C++简化了线上部署的复杂度，并让手机这种内存和CPU资源都紧张的设备能够运行复杂模型（Python则会比较消耗资源，而且执行效率不高）。除了核心代码的C++接口，TensorFlow还有官方的Python、Go和Java接口，是经过SWIG（Simplified Wrapper and Interface Generator）实现的，这样用户就能够在一个硬件配置较好的机器中用Python进行实验，并在资源比较紧张的嵌入式环境或须要低延迟的环境中用C++部署模型。SWIG支持给C/C++代码提供各类语言的接口，所以其余脚本语言的接口将来也能够经过SWIG方便地添加。不过使用Python时有一个影响效率的问题是，每个mini-batch要从Python中feed到网络中，这个过程在mini-batch的数据量很小或者运算时间很短时，可能会带来影响比较大的延迟。如今TensorFlow还有非官方的Julia、Node.js、R的接口支持。 
　　TensorFlow也有内置的TF.Learn和TF.Slim等上层组件能够帮助快速地设计新网络，而且兼容Scikit-learn estimator接口，能够方便地实现evaluate、grid search、cross validation等功能。同时TensorFlow不仅局限于神经网络，其数据流式图支持很是自由的算法表达，固然也能够轻松实现深度学习之外的机器学习算法。事实上，只要能够将计算表示成计算图的形式，就可使用TensorFlow。用户能够写内层循环代码控制计算图分支的计算，TensorFlow会自动将相关的分支转为子图并执行迭代运算。TensorFlow也能够将计算图中的各个节点分配到不一样的设备执行，充分利用硬件资源。定义新的节点只须要写一个Python函数，若是没有对应的底层运算核，那么可能须要写C++或者CUDA代码实现运算操做。 
　　在数据并行模式上，TensorFlow和Parameter Server很像，但TensorFlow有独立的Variable node，不像其余框架有一个全局统一的参数服务器，所以参数同步更自由。TensorFlow和Spark的核心都是一个数据计算的流式图，Spark面向的是大规模的数据，支持SQL等操做，而TensorFlow主要面向内存足以装载模型参数的环境，这样能够最大化计算效率。 
　　TensorFlow的另一个重要特色是它灵活的移植性，能够将同一份代码几乎不通过修改就轻松地部署到有任意数量CPU或GPU的PC、服务器或者移动设备上。相比于Theano，TensorFlow还有一个优点就是它极快的编译速度，在定义新网络结构时，Theano一般须要长时间的编译，所以尝试新模型须要比较大的代价，而TensorFlow彻底没有这个问题。TensorFlow还有功能强大的可视化组件TensorBoard，能可视化网络结构和训练过程，对于观察复杂的网络结构和监控长时间、大规模的训练颇有帮助。TensorFlow针对生产环境高度优化，它产品级的高质量代码和设计均可以保证在生产环境中稳定运行，同时一旦TensorFlow普遍地被工业界使用，将产生良性循环，成为深度学习领域的事实标准。 
　　除了支持常见的网络结构[卷积神经网络（Convolutional Neural Network，CNN）、循环神经网络（Recurent Neural Network，RNN）]外，TensorFlow还支持深度强化学习乃至其余计算密集的科学计算（如偏微分方程求解等）。TensorFlow此前不支持symbolic loop，须要使用Python循环而没法进行图编译优化，但最近新加入的XLA已经开始支持JIT和AOT，另外它使用bucketing trick也能够比较高效地实现循环神经网络。TensorFlow的一个薄弱地方可能在于计算图必须构建为静态图，这让不少计算变得难以实现，尤为是序列预测中常用的beam search。 
　　TensorFlow的用户可以将训练好的模型方便地部署到多种硬件、操做系统平台上，支持Intel和AMD的CPU，经过CUDA支持NVIDIA的GPU（最近也开始经过OpenCL支持AMD的GPU，但没有CUDA成熟），支持Linux和Mac，最近在0.12版本中也开始尝试支持Windows。在工业生产环境中，硬件设备有些是最新款的，有些是用了几年的老机型，来源可能比较复杂，TensorFlow的异构性让它可以全面地支持各类硬件和操做系统。同时，其在CPU上的矩阵运算库使用了Eigen而不是BLAS库，可以基于ARM架构编译和优化，所以在移动设备（Android和iOS）上表现得很好。 
　　TensorFlow在最开始发布时只支持单机，并且只支持CUDA 6.5和cuDNN v2，而且没有官方和其余深度学习框架的对比结果。在2015年年末，许多其余框架作了各类性能对比评测，每次TensorFlow都会做为较差的对照组出现。那个时期的TensorFlow真的不快，性能上仅和广泛认为很慢的Theano比肩，在各个框架中能够算是垫底。可是凭借Google强大的开发实力，很快支持了新版的cuDNN（目前支持cuDNN v5.1），在单GPU上的性能追上了其余框架。下图为https://github.com/soumith/convnet-benchmarks给出的各个框架在AlexNet上单GPU的性能评测。 

　　目前在单GPU的条件下，绝大多数深度学习框架都依赖于cuDNN，所以只要硬件计算能力或者内存分配差别不大，最终训练速度不会相差太大。可是对于大规模深度学习来讲，巨大的数据量使得单机很难在有限的时间完成训练。这时须要分布式计算使GPU集群乃至TPU集群并行计算，共同训练出一个模型，因此框架的分布式性能是相当重要的。TensorFlow在2016年4月开源了分布式版本，使用16块GPU可达单GPU的15倍提速，在50块GPU时可达到40倍提速，分布式的效率很高。目前原生支持的分布式深度学习框架很少，只有TensorFlow、CNTK、DeepLearning4J、MXNet等。不过目前TensorFlow的设计对不一样设备间的通讯优化得不是很好，其单机的reduction只能用CPU处理，分布式的通讯使用基于socket的RPC，而不是速度更快的RDMA，因此其分布式性能可能尚未达到最优。 
　　Google 在2016年2月开源了TensorFlow Serving19，这个组件能够将TensorFlow训练好的模型导出，并部署成能够对外提供预测服务的RESTful接口，如图2-2所示。有了这个组件，TensorFlow就能够实现应用机器学习的全流程：从训练模型、调试参数，到打包模型，最后部署服务，名副实际上是一个从研究到生产整条流水线都齐备的框架。这里引用TensorFlow内部开发人员的描述：“TensorFlow Serving是一个为生产环境而设计的高性能的机器学习服务系统。它能够同时运行多个大规模深度学习模型，支持模型生命周期管理、算法实验，并能够高效地利用GPU资源，让TensorFlow训练好的模型更快捷方便地投入到实际生产环境”。除了TensorFlow之外的其余框架都缺乏为生产环境部署的考虑，而Google做为普遍在实际产品中应用深度学习的巨头可能也意识到了这个机会，所以开发了这个部署服务的平台。TensorFlow Serving能够说是一副王牌，将会帮TensorFlow成为行业标准作出巨大贡献。 

　　　　　　　　　　　　　　　　　　　　　 TensorFlow Serving架构

　　TensorBoard是TensorFlow的一组Web应用，用来监控TensorFlow运行过程，或可视化Computation Graph。TensorBoard目前支持5种可视化：标量（scalars）、图片（images）、音频（audio）、直方图（histograms）和计算图（Computation Graph）。TensorBoard的Events Dashboard能够用来持续地监控运行时的关键指标，好比loss、学习速率（learning rate）或是验证集上的准确率（accuracy）；Image Dashboard则能够展现训练过程当中用户设定保存的图片，好比某个训练中间结果用Matplotlib等绘制（plot）出来的图片；Graph Explorer则能够彻底展现一个TensorFlow的计算图，而且支持缩放拖曳和查看节点属性。TensorBoard的可视化效果如图2-3和图2-4所示。 

　　　　　　　　　　　　　　　　　　　　　TensorBoard的loss标量的可视化 
　　　　　　　　　　　　　　　　　　　　　 

　　　　　　　　　　　　　　　　　　　　　TensorBoard的模型结构可视化 
　　　　　　　　　　　　　　　　　　　　　

主流深度学习框架对比

　　TensorFlow拥有产品级的高质量代码，有Google强大的开发、维护能力的加持，总体架构设计也很是优秀。相比于一样基于Python的老牌对手Theano，TensorFlow更成熟、更完善，同时Theano的不少主要开发者都去了Google开发TensorFlow（例如书籍Deep Learning的做者Ian Goodfellow，他后来去了OpenAI）。Google做为巨头公司有比高校或者我的开发者多得多的资源投入到TensorFlow的研发，能够预见，TensorFlow将来的发展将会是飞速的，可能会把大学或者我的维护的深度学习框架远远甩在身后。 
　　深度学习研究的热潮持续高涨，各类开源深度学习框架也层出不穷，其中包括TensorFlow、Caffe、Keras、CNTK、Torch七、MXNet、Leaf、Theano、DeepLearning四、Lasagne、Neon，等等。然而TensorFlow却杀出重围，在关注度和用户数上都占据绝对优点，大有一统江湖之势。 

　　上图为各个开源框架在GitHub上的数据统计（数据统计于2017年1月3日），能够看到TensorFlow在star数量、fork数量、contributor数量这三个数据上都完胜其余对手。究其缘由，主要是Google在业界的号召力确实强大，以前也有许多成功的开源项目，以及Google强大的人工智能研发水平，都让你们对Google的深度学习框架充满信心，以致于TensorFlow在2015年11月刚开源的第一个月就积累了10000+的star。其次，TensorFlow确实在不少方面拥有优异的表现，好比设计神经网络结构的代码的简洁度，分布式深度学习算法的执行效率，还有部署的便利性，都是其得以胜出的亮点。若是一直关注着TensorFlow的开发进度，就会发现基本上每星期TensorFlow都会有1万行以上的代码更新，多则数万行。产品自己优异的质量、快速的迭代更新、活跃的社区和积极的反馈，造成了良性循环，能够想见TensorFlow将来将继续在各类深度学习框架中独占鳌头。 
　　观察能够发现，Google、Microsoft、Facebook等巨头都参与了这场深度学习框架大战，此外，还有毕业于伯克利大学的贾扬清主导开发的Caffe，蒙特利尔大学Lisa Lab团队开发的Theano，以及其余我的或商业组织贡献的框架。另外，能够看到各大主流框架基本都支持Python，目前Python在科学计算和数据挖掘领域能够说是独领风骚。虽然有来自R、Julia等语言的竞争压力，可是Python的各类库实在是太完善了，Web开发、数据可视化、数据预处理、数据库链接、爬虫等无所不能，有一个完美的生态环境。仅在数据挖据工具链上，Python就有NumPy、SciPy、Pandas、Scikit-learn、XGBoost等组件，作数据采集和预处理都很是方便，而且以后的模型训练阶段能够和TensorFlow等基于Python的深度学习框架完美衔接。 
　　下面对主流的深度学习框架TensorFlow、Caffe、CNTK、Theano、Torch在各个维度进行了评分。 


　　本文选自《TensorFlow实战》，点此连接可在博文视点官网查看此书。 
　　　　　　　　　　　　　　　　　　　　　　

想及时得到更多精彩文章，可在微信中搜索“博文视点”或者扫描下方二维码并关注。