DSW：面向AI研发的集成开发平台

发布会传送门 产品详情 云原生技术，注重用户体验，提高研发效率 环境搭建是算法研发过程当中的重要一环，这里除了硬件选型外，软件环境的安装配置，后续升级每每会耗费很多时间。DSW借助阿里云ECS，Docker和Kubernetes等云原生技术，可以在2，3分钟内帮用户完成环境搭建。用户能够根据算法须要和成本考虑， 选择阿里云ECS提供的包括CPU和异构计算GPU在内的全部资源规格。不只支持预付费，还支持后付费。 DSW还配置了10多种适用于不一样AI场景的典型软件环境配置， 包括Tensorflow和PyTorch等主流训练框架的不一样版本组合，供用户选择。做为高度开放的开发环境，DSW开放sudo权限给用户、支持任意第三方库安装。 为了知足不一样水平层次和开发习惯的算法用户，结合可视化，交互式编程和命令行输入，DSW提供了3种编程入口：WebIde适用于工程化要求比较高的项目；JupyterLab适用于快速POC试验；Terminal入口可用于快速执行Shell命令，运行程序和简单的编辑等。

DSW还开发和预装了各类JupyterLab和WebIDE插件， 好比广受深度学习开发者喜好的可视化工具Tensorboard，用户在DSW内经过Launcher，Commands打开，甚至还可使用%tensorboard魔法命令直接在Notebook中开启等多种方式使用Tensorboard。不只支持本地文件，还能够打开存放在OSS，ODPS里的训练日志。针对算法同窗使用Python比较多的特色， DSW的WebIDE内安装了Python插件， 能够直接在浏览器内在线调试，单步跟踪程序运行。用户还能够根据须要，自主安装须要的任意插件。 DSW支持多种数据源读写，包括NAS， OSS，云盘和MaxCompute，尤为是内置了dswmagic魔法命令可让用户在ipynb文件中使用SQL语句读写MaxCompute表中数据，预置的SQL编辑器支持语法高亮、智能提示、自动补全等功能，还支持运行带变量替换功能的Sql脚本。查询结果自动以最友好的图形化展现。 为了节省资源成本，用户能够利用停机不收费功能，在实例闲置不用时关机保存环境， 须要时再一键快速恢复。此外， DSW支持用户自定义镜像安装，能够基于以前保存或定制的环境建立实例。 DSW在公有云上支持了屡次百队以上规模的天池大赛，在阿里集团内一样也承接着比赛，通过千锤百炼，证实不只适合我的和团队研发，也支持大规模算法竞赛和教育培训。 安全性和稳定性是用户比较关心的问题，DSW使用的计算，存储和网络资源，彻底是使用用户本身的帐号购买，并部署到用户本身的vpc内部， 能够方便与用户其余数据打通。用户间彻底隔离，还具有很是好的安全性。基于阿里云ECS和容器服务， 稳定性有保障。 集成PAI的各能力组件，加速业务落地 身为PAI这个你们庭的一员， DSW除了完成单机开发训练功能以外， 还内置部分PAI的基础能力。好比用户能够直接在实例内利用PAI视觉类算法包EasyVision进行图像分类训练评估、预测； 经过自动调参AutoML进行算法超参数自动调优；用户甚至可以无感知的享受PAI编译优化算法组件TAO提供的训练过程当中的算子优化。最后， DSW还提供了供算法直接读取MaxCompute表数据的CommonIO组件，支持TableRecordDataSet， TableReader，TableWriter等标准接口，方便训练程序直接提交到PAI的分布式训练集群。 能够预见，在不久的未来， 会有更多的PAI算法包内置进DSW基础镜像内。 DSW也会依赖PAI SDK，围绕数据读取，加工，模型训练， 模型管理以及在线服务等AI研发生产流程的关键环节，为用户提供像Pipeline搭建，调度和管理之类的一条龙服务。