本周AI热点回顾：Github私有库无限协做、飞腾适配百度昆仑AI处理器、OpenAI发布神经网络可视化库

Github私有库无限协做，大 AI 模型随便放

4月14日，GitHub 的 CEO Nat Friedman 在官网上发布声明说， “咱们很高兴宣布，咱们将为全部 GitHub 用户提供方便无限协做的私有库。且 GitHub 所有核心功能对全部人免费。”

若是你想存储一些私人项目，那么你能够选择GitHub的私有库，若是你一我的来开发项目这固然没问题，可是有些状况你须要更多的人来协做，当超过三我的时免费的私有库就不够用了，须要开通付费版，而如今协做人数限制。

从此，小型的开发团队能够无偿使用GitHub私有库了。

持续集成由一连串的动做组成，包括代码抓取、运行测试、登陆远程服务器、发布到第三方服务等等。这就是GitHub Actions要干的事。

开发团队如今能够在 GitHub 上面协做处理各类开发工做，包括 CI/CD 持续集成和部署，项目管理、代码审查等等，同时提供 500MB 的存储空间和每个月多达2000分钟的 GitHub Actions 免费访问时长。

跟当前比较流行的持续集成工具Travis CI比，actions支持在全部平台环境下构建，用yaml文件直接定义整个工做流，而Travis须要本身在一个独立的虚拟机预先构建一些包，搭建数据库等，流程的某些部分须要在 GitHub 中独立实现，更重要的是Travis CI同等使用额度收费比较高，actions无偿使用。

信息来源：新智元

02飞腾64核CPU适配百度昆仑AI处理器：全国产的AI体系登场

 

继百度飞桨深度学习平台以后，百度的昆仑AI芯片日前也针对国产的飞腾CPU完成了适配。再加上已经适配的国产OS，在AI计算体系中有可能出现百度昆仑+飞腾CPU+国产OS+百度飞桨的全国产化体系，再也不受到国外控制，这仍是首次。

飞腾表示，百度智能芯片总经理欧阳剑在一次线上公开课中首次展现了百度昆仑 AI 芯片与飞腾 CPU 的适配视频片断。视频显示，搭载飞腾 CPU、昆仑加速卡的服务器，运行流畅，性能强劲，图像分割速度显著加速。

百度昆仑芯片是继百度飞桨（PaddlePaddle）深度学习平台以后，百度又一重量级 AI 产品与飞腾完成适配。

百度昆仑 AI 芯片是百度自研的云端全功能 AI 芯片，采用百度自研 XPU 神经处理器架构，提供 512GB/s 的内存带宽，可以在 150W 的功耗下提供高达 260 TOPS 的能力，是业内算力领先的国产 AI 芯片。

至于飞腾CPU，与百度昆仑 AI 芯片完成适配的 飞腾 FT-2000+/64 处理器是飞腾面向高性能服务器领域的产品。该款处理器设计了数据亲和的多核处理器体系架构，突破了高效乱序超标量流水线、层次化片上并行存储结构、多级异构片上互连网络、高可用处理器设计等关键技术，实测性能达到了国际主流服务器 CPU 同等水平，填补了国产高端通用 CPU 领域的空白。

飞腾FT-2000+/64是中国首款自主设计的 64 核通用 CPU，也是国际上首款兼容 ARMv8 指令集的 64 核通用 CPU，为百度昆仑 AI 芯片提供了高效完整的 AI 计算流程支撑。

飞腾表示，当前正处于 AI + 智能云时代，从芯片架构、操做系统，再到上层应用，都有了革命性的变化。百度昆仑+飞腾CPU+国产OS，再加上国产深度学习平台百度飞桨（PaddlePaddle），以及新时代的各种应用，全国产的 AI 计算体系将登上历史舞台，而且有机会成为新的选择。

信息来源：新浪科技

03训练吞吐量提高6倍！飞桨弹性计算推荐系统ElasticCTR 1.0发布

ElasticCTR，即飞桨弹性计算推荐系统，是基于Kubernetes的企业级推荐系统开源解决方案。该方案融合了百度业务场景下持续打磨的高精度CTR模型、飞桨开源框架的大规模分布式训练能力、工业级稀疏参数弹性调度服务，帮助用户在Kubernetes环境中一键完成推荐系统部署，具有高性能、工业级部署、端到端体验的特色，而且做为开源套件，知足二次深度开发的需求。

目前在推荐系统领域，应用深度学习模型来实现推荐，能够取得很是好的效果，是将来的发展趋势。但实现开发这样一套推荐系统，开发者会面临诸多问题，每一个问题对开发者来讲都是一座大山，闯过一个个关卡以后，才能打通整个推荐系统。所以ElasticCTR为广大AI开发者又增添一套强劲的武器装备：

1. 端到端部署套件，免去繁琐的中间处理环节，助力推荐系统快速上线

推荐排序的workflow复杂而琐碎，开发者会面临不一样组件间难以整合的问题。百度在推荐系统领域有多年的成熟经验，在这些经验的加持下，ElasticCTR打通了端到端的部署流程，用户只需配置好数据集，经过一个elastic_control.sh启动工具，便可用简单几行命令，启动高性能的分布式训练和在线预测服务PaddleServing等组件。中间的繁琐步骤、模型配送等流程都不须要额外操做。

图：ElasticCTR的Workflow示意

 

2. 弹性调度，全异步多线程分布式训练，训练吞吐量提高6倍

对于不一样规模的数据集和访问需求，ElasticCTR提供了资源弹性分配机制，在保证高效的同时尽量节省资源消耗。经验证，使用Criteo数据集训练CTR-DNN模型，训练吞吐量相比同类框架可提高6倍。事实上，Criteo数据集只是一个简单的例子，在实际应用中会有更大规模的稀疏参数，ElasticCTR的训练和部署优点会更加显著。

图：CTR-DNN模型训练效果对比

3. 流式训练，实现自动、分批、按时训练和配送模型

常见的深度学习训练方式中，一般是固定数据集进行多轮次迭代，可是在推荐系统中，因为日志数据的时效性，数据集需分时段加载，训练好的模型也需按时段配送。在实际生产环境中每每是分日期、分时段保存用户点击信息的日志，ElasticCTR支持流式训练方式，它的意义在于用户能够按照自定义的时段来训练模型，也能够监听存放数据集的HDFS上是否有增量的数据集参与训练，训练好的模型亦可定时增量配送。

4. 工业级全组件开源，知足二次深度开发诉求

ElasticCTR采用全开源组件，知足开发者二次深度开发的需求。在数据读取和预处理环节，采用HDFS的存储，全内存多线程读取，打破数据传输的各类可能瓶颈；在训练环节，采用飞桨核心框架的分布式训练能力，全异步多线程分布式训练，训练速度可达到同类框架6倍之多；在部署环节，采用飞桨在线部署框架PaddleServing简单易用的部署服务，并结合百度推荐场景成熟应用多年的稀疏参数索引服务Cube，确保了超大规模模型的快速部署和高效服务；此外，为充分利用Kubernetes的弹性调度和资源分配机制以加强可用性，引入了Kubernetes的job管理框架Volcano。

信息来源：飞桨PaddlePaddle

04

下围棋so easy ，AlphaZero开始玩量子计算！

AlphaZero一开始是专门用来下围棋的。围棋的落子位置太多了大约有种。相比之下，国际象棋只有种可能的走位。

因此AlphaZero使用了一个深层的神经网络，它学会了从一个特定的位置开始评估它获胜的可能性。为了获胜，AlphaZero有一个功能叫作蒙特卡洛树搜索，这种方法可以帮助它在游戏中“预知将来”。

这相似于职业棋手在下棋时可以提早想几步棋。训练结果是至关惊人的，AlphaZero 很快就摧毁了专业游戏软件和人类玩家。例如，通过仅仅四个小时的自我对弈练习，AlphaZero 就在国际象棋中击败了领先的棋类软件 Stockfish。并且这彻底都是从零开始，一开始AlphaZero根本不知道游戏规则。丹麦国际象棋大师Peter Heine Nielsen将其比做一个访问过地球的高级外星物种。

而量子计算机的能力，是全部现有的计算机组合加起来都没法匹敌。但到目前为止尚未人可以制造出一台功能齐全的量子计算机。这就须要咱们在控制量子系统的能力上向前跨一步。

与普通计算机相似，量子计算机使用门操做（gate operations）来操纵其量子位。成功实现AlphaZero以后，使用相同的算法超参数将其用于三个不一样的量子控制问题。

 

在一些案例中，相同的超参数集在三种量子状况下均能很好地工做，当改变问题的设定，AlphaZero将没法单独解决。量子计算机利用量子并行性大幅提升了计速度，可是问题再次出现：搜索空间的控制参数成指数级增加。AlphaZero实验证实，神经网络提供的近似和不完善的解决方案能够充当本地蛮力启发式算法的强大种子生成器。

奥胡斯大学的团队开始寻求一种混合算法：AlphaZero经过普遍的探索生成了高可用的种子对象，随后经过基于梯度的方法对它们进行优化，这种方法使解决方案的数量和质量都获得了极大的提升。混合了AlphaZero的量子计算，搜索速度能够提高500倍。

信息来源：新智元

你的可视化ML模型能够用显微镜来看了！OpenAI发布Microscope

机器学习算法（ML）一般被称为“黑箱”，人类并不知道AI是怎么决策的，算法从输入到输出的过程就像变魔术同样。 

因为缺少可解释性，ML可能会致使不少不可控的后果。若是咱们没法解释AI决策的过程和动机，就没法信任这个智能系统。所以，ML社区一直致力于使算法的学习过程透明化。

OpenAI发布神经网络可视化库Microscopea。目前的初始版本分析了8个流行的神经网络。该集合一共包含数百万张图像。Microscope能够像实验室中的显微镜同样工做，帮助AI研究人员更好地理解具备成千上万个神经元的神经网络的结构和行为。

神经元可视化

OpenAI的Microscope是八个视觉神经网络模型的每一个重要层和神经元可视化的集合，一般在可解释性方面进行研究。Microscope使咱们更容易分析这些复杂的神经网络内部造成的特征。每种模型的可视化都带有一些场景，而且图像在OpenAI Lucid库中可用（见文末Github连接），能够在 Creative Commons许可下重复使用。Microscope的主要价值在于提供持久的共享工件，以长期对这些模型进行比较研究。

Microscope想要实现两个愿景：但愿具备相邻专业知识的研究人员（例如神经科学）可以更轻松地处理这些视觉模型的内部工做。但愿它能经过了解神经元之间的链接，为电路协做工做作出贡献，从而能够对神经网络进行逆向工程。

就像生物学家常常专一于研究几种“模式生物”同样，Microscope也专一于详细研究少许模型。OpenAI的初始版本包括八个常常被研究的视觉模型，以及他们发如今研究它们时特别有用的几种可视化技术。OpenAI计划在将来几个月内扩展到其余模型和技术上。

Microscope地址：

https://microscope.openai.com/models

信息来源：新智元

 

06

本周论文推荐

【CVPR2020】ActBERT:FineGym:用于细粒度动做理解的分层视频数据集

做者：Dian Shao, Yue Zhao, Bo Dai, Dahua Lin

论文介绍：

在公共基准数据集上，当前的动做识别技术已经取得了巨大的成功。然而，在现实世界的应用中，例如体育分析，它须要将一项活动分解成几个阶段，并区分细微不一样的动做，它们的性能仍然远远不能使人满意。为了将动做识别提高到一个新的水平，FineGym是一个创建在体操视频之上的新数据集。与现有的动做识别数据集相比，FineGym具备丰富、优质和多样性的特色。特别是，它提供了一个三层语义层次的动做和子动做级别的临时注释。例如，一个“平衡木”事件将被注释为来自5个集合的基本子动做序列:“leap-jump-hop”、“beam-turns”、“flight-salto”、“flight-handspring”和“dismount”，其中每一个集合中的子动做将被进一步注释为定义良好的类标签。这种新的粒度级别对操做识别提出了重大挑战，例如如何从一个一致的操做解析时间结构，以及如何区分细微不一样的操做类。做者系统地研究了该数据集上的表明性方法，并得到了一些有趣的发现并但愿这个数据集能够促进动做理解的研究。

 

论文地址：

https://arxiv.org/abs/2004.06704

 

END

>> 访问 PaddlePaddle 官网，了解更多相关内容。