TechDay实录 | 认识PaddlePaddle：更低使用成本、更高开发效率的深度学习框架

导读：

在人工智能时代，各行各业都在尝试利用机器学习/深度学习等前沿技术来解决自身的业务需求，深度学习框架也应运而生。为了继续帮助AI开发者们在深度学习的道路上快速升级，百度PaddlePaddle于2019年重磅启动系列技术公开课“PaddlePaddle TechDay”。

2019年1月5日，第一期活动于北京中关村创业大街百度大脑创新体验中心展开，秉承着“技术为先，应用至上”的理念，百度邀请深度学习技术平台主任工程师胡晓光和高级算法工程师、百度认证布道师胡晓曼做为这次主讲嘉宾，分享PaddlePaddle框架设计原理、实现方式、完整实例等技术点，并结合百度自身AI实践的应用发展，详解PaddlePaddle针对深度学习模型的应用、训练与优化等具体细节。

如下为胡晓光讲师的演讲实录：

2012年，百度开始深度学习的应用，其深度学习框架内部版本可追溯到2013年，到2016年，为了知足开发者的使用需求，百度开源了深度学习平台PaddlePaddle，2018年末，百度又推出了PaddlePaddle Suit，力求框架使用成本愈来愈低。

现在，各大巨头公司都在进入深度学习领域，那深度学习框架为什么如此重要？其实深度学习框架至关于传统的操做系统，起到链接底层硬件和上层应用场景的做用，以此支持各类AI相关的应用，使其与业务结合，实实在在解决业务场景中的问题。例如，经过该框架，能够将底层的CPU、GPU、FPGA、专用AI芯片、手机移动端上的芯片等各种硬件相关隔离并进行管理；在中间层将数据进行组网、训练，进一步获得模型进行预测；在应用层，还能够跟语音、NLP、视觉、推荐等实际场景中的业务进行结合。

能够看到，PaddlePaddle致力于经过输出领先的深度学习技术，赋能各行各业，全方位知足企业级深度学习的应用；同时，PaddlePaddle更加注重用户的开发成本，以最少的时间得到最满意的功能和效果。

支持不一样层级开发者需求的PaddlePaddle全功能套件

如上图所示，PaddlePaddle的总体架构主要包含四个层面：核心框架、辅助工具、通用技术方案、服务平台。

核心框架包括：PaddlePaddle训练框架、PaddlePaddleServing（预测）、PaddlePaddle Mobile（移动端手机上可部署），在这个基础框架之上，能够作深度学习相关的工做。

再往上一层，针对深度学习应用的辅助工具包括：Visual DL可视化工具、Auto DL网络自动设计工具、PARL强化学习工具。

通用技术方案上，目前PaddlePaddle主要支持包括文本处理/NLP、CV 、智能推荐相关的三个方向，这三个方向里有大量的模型。

服务平台方面，面向用户实际业务场景，Easy DL无需用户写代码，即可低成本获取定制化服务；此外，还有学习深度学习的平台AI Studio、针对深度学习云服务的Infinity。

PaddlePaddle设计思想

具体到执行流程，一般前端程序是用Python来写的，但实际代码程序是在后端的C++语言环境下实现的，那两者是如何关联起来的呢？

在Python前端，有一个接口可作到先后端的调度，中间还有一个程序ProgramDecs，可进行网络结构的序列化。而后将Programdesc经过接口传给Transpiler，对原始Program作进一步优化，再传给一个新的Programdesc。而在C++后端有一个执行器，这里面对各类各样的Operator进行计算和调用，至关于在CPU上跑的各类指令在这里完成。以后，像梯度或参数等计算结果跑出来后，须要返回预测值，仍是经过这个接口再传给Python前端。也就是说，输入数据和返回的结果都是能够在前端完成的。正因如此，整个框架后端是基于C++的，效率也十分高。

执行过程

编译期：定义Program

1. 编译时，用户编写一段python程序，经过调用 Fluid 提供的算子，向一段 Program 中添加变量（Tensor）以及对变量的操做（Operators 或者 Layers）。用户只须要描述核心的前向计算，不须要关心反向计算、分布式下以及异构设备下如何计算。
2. 原始的 Program在平台内部转换为中间描述语言： ProgramDesc。
3. 编译期最重要的一个功能模块是 Transpiler。Transpiler 接受一段 ProgramDesc ，输出一段变化后的 ProgramDesc ，做为后端 Executor 最终须要执行的 Fluid Program
4. 后端 Executor 接受 Transpiler 输出的这段 Program ，依次执行其中的 Operator（能够类比为程序语言中的指令），在执行过程当中会为 Operator 建立所需的输入输出并进行管理。

执行期：1.执行Program

2.建立Executor

Fluid中使用fluid.Executor(place)建立Executor，place属性由用户定义，表明程序将在哪里执行。

下例代码表示建立一个Executor，其运行场所在CPU内：

3.运行Executor

Fluid使用Executor.run来运行程序。定义中经过Feed映射获取数据，经过fetch_list获取结果：

官方支持最多模型库——PaddlePaddle Fluid模型库

目前，基于PaddlePaddle框架基础上开发了大量的模型，能够支持像CV、NLP、推荐等各种很是前沿的技术应用。值得一提的是，模型应用有不少已经放在GitHub上开源出来，若是开发者想要进一步尝试PaddlePaddle，除了查看官方文档，也能够在GitHub上快速找到PaddlePaddle最新开源的模型。

目前来看，PaddlePaddle官方支持的模型数量超过其余主流框架，主要包括计算机视觉里的图像分类、目标检测、人脸检测、关键点、OCR识别、语义分割、视频分类，天然语言处理里的中文词法分析、语义匹配、机器翻译，个性化推荐模型，语音识别等。

1.图像分类

目前网络模型主要朝着两个方向发展：一是愈来愈深；二是愈来愈复杂。如AlexNet、VGG、GoogleNet、ResNet、Inception-v四、MobileNet、Dual Path Network、SE-ResNeXt，2012年以来的经典图像识别网络都包含在PaddlePaddle的图像分类模型库里。

2.目标检测 SSD

Single Shot MultiBoxDetector (SSD) 是目标检测领域较新且效果较好的检测算法之一，具备检测速度快且检测精度高的特色。

对比 Faster R-CNN和SSD在GPU上的运行速度和准确率，能够得知，Faster R-CNN的准确率会很高，但跑得速度会慢些；而SSD会快不少，但准确率会低些。

3.人脸检测 PyramidBox

在图像检测里，人脸检测是比较特殊的，包括人脸拍照、人脸识别解锁，其核心基础都是检测。2018年，百度最新推出的PyramidBox，能够说是迄今最好的人脸算法。除了传统算法以外，重点考虑人脸的上下文特征，能够很好地提高人脸检测的交互率和准确率。

4.语义分割DeepLab V3+、语义实时分割ICNet

目前，用于语义分割的DeepLab V3+模型基于PaddlePaddle获得了实现，并取得了很是好的效果。能够看到，它有一些操做并非标准的卷积，这意味着有能够针对这些操做进行更深刻底层优化的空间。

5.视频分类

视频分类方法主要包含基于卷积神经网络、基于循环神经网络、或将这二者结合的方法，目前包含Temporal Segment Network(TSN)模型。

6.中文词法分析（LAC）

中文词法分析（Lexical Analysis of Chinese）是一个联合的词法分析模型，包括中文分词、词性标注、专有名词识别任务。LAC基于一个堆叠的双向GRU结构，在长文本上准确复刻了百度AI开放平台上的词法分析算法。这三个任务能够作一个训练，其效果是很是显著的。

7.语义匹配 DAM

在最新发表的“Multi-Turn Response Selection for Chatbotswith Deep Attention Matching Network”论文中指出，主要使用了全局方法的网络结构，可判断全局信息，经过上下文表示句子语义结构，目前已在内部如聊天或对话系统中取得了很是好的效果。

8.机器翻译 Transformer

从2017年起提出的Transformer现已成为业界机器翻译模型训练的标配。Transformer是一个基于自注意力机制的机器翻译模型，其中再也不有RNN或CNN结构，而是彻底利用Attention学习语言中的上下文依赖。

9.个性化推荐模型

PaddlePaddle对推荐算法的训练提供了完整的支持，并提供了多种模型配置供用户选择，包括：TagSpace、GRU4Rec、SequenceSemanticRetrieval、DeepCTR、Multiview-Simnet。

模型库：

https://github.com/PaddlePadd...

总结来说，PaddlePaddle是一个功能全面而又特别注重实用性的框架，百度在生产环境的打磨使其具有了强大的工业级生产能力，同时从框架的内部设计和实现上注重接口的简洁性和稳定性，并规避了复杂概念和设计的引入，使其下降了PaddlePaddle的开发门槛，对开发者也更加友好。此外，开放出大量支持最新主流的模型库，从而全方位为企业开发者提供帮助，使其能够顺畅地进行上层开发。当前仍处于深度学习研究和应用的持续火热期，深度学习框架及平台在研究界和工业界的需求仍持续增加，百度PaddlePaddle也将随着深度学习在各行各业的普遍应用，持续迭代和更新，为中国开发者和企业提供更强、更贴近需求的服务，咱们也欢迎广大开发者和企业加入到百度PaddlePaddle的你们庭当中来，共建深度学习生态，助力AI落地。