2015年,UCloud在国内云厂商中首先推出了K80-GPU云主机。此后,咱们又相继推出了P40、V100等GPU云主机、定制化物理机以及UAI-Train、UAI-Inference等以GPU为基础的AI产品,为人工智能用户持续创造价值。现在,咱们更进一步,推出专门的GPU可用区。经过对架构精裁,其相比于普通可用区,GPU价格下降20%,带宽价格下降64%,并支持10G/25G物理网络和VPC私有网络,凭借独享性能、丰富产品互联、自助购买、按月租赁,帮助用户避免自行维护GPU集群作AI训练的高昂投入。安全
目前,福建GPU可用区A已对所有用户开放,并支持在控制台直接购买下单。服务器
下降20%成本,支持按月付费网络
GPU使用成本高,一方面是GPU卡自己很是昂贵,另外一方面功耗与机柜成本几乎占据了总体成本的40%,而这部分红本能够被有效下降。为此UCloud在国内臻选电力成本较低且符合基础标准的机房创建GPU可用区。这次上线的GPU可用区位于福建省,为省级骨干IDC机房,符合国际数据中心标准Tier3,提供移动线路。架构
UCloud的云计算核心本来为标准可用区设计,目的是支撑上万级别的服务器,近百种不一样的云计算服务。为了提高总体性价比,咱们花费1周时间,便对GPU可用区快速进行了定制,推出了一个全新版本的迷你型云计算核心,内部代号“蚂蚁”。“蚂蚁”核心压缩了超过50%的云控制面成本,依然能支撑起完整的物理云主机与网络产品并提供稳定的服务。运维
受益于功耗、机柜、云计算核心摊销成本的下降,GPU可用区的物理云单价比UCloud其余标准可用区都要便宜20%。以V100物理云为例,GPU可用区在北京二可用区E的列表单价下降5000元/月,和业内相比也有突出的价格优点。UCloud亦提供更具性价比的GPU机型可供选择。分布式
GPU可用区的计费模式与其余可用区一致,物理机支持按月与按年付费,可随时释放。用户没必要一次性投入巨大的开支,可自如增减集群规模,应对市场的动态变化。此外,福建GPU可用区提供移动单线网络,带宽费用比其余可用区下降64%。性能
最大单精浮点性能104 TFLOPs,独享物理机云计算
GPU可用区以成熟的物理云产品体系为依托。计算、存储、网络性能均没有任何虚拟化带来的额外开销。这对AI训练这样看重绝对性能的场景很是重要。人工智能
一台GPU物理机最大能支持104 TFLOPs的单精度浮点性能,约等于2000颗CPU的算力。采用10G与25G两套物理网络环境。25G网络带来更高的集群运算效率,集群规模≥10台计算节点时,均推荐采用25G。和普通可用区提供的GPU云主机相比,总体性能翻倍。设计
物理云主机产品已实现后台资源交付入库、系统装机等流程高度自动化,并支持多种镜像、多种RAID模式可选。用户直接在控制台点选后就自动执行装机操做,30分钟内装机完成便可使用,免去传统物理机运输、搭建、部署、调试等冗长过程。
物理云主机装机中
针对物理机难以免的硬件故障隐患,UCloud硬件运维团队维护了详细的固件问题列表,发现隐患会及时发起固件的全网升级;物理云主机在交付用户前、用户退还机器后均会自动执行完整的硬件检测。此外物理云集成了UCloud监控平台,经过监控提早发现磁盘故障、GPU卡温度太高等硬件问题,并通知NOC团队快速处理(7*24小时)。
GPU物理云的网关有A/B两套互备集群,网络流量可在AB集群之间平滑切换。因为此架构,在主网关出现故障时能实现快速切换到备用网关,最小化对用户的影响;亦能经过集群切换实现网络架构的平滑升级。经过这套模式,北京地区的物理云集群实现了从10G网关到25G网关的在线动态升级,用户除了低峰期网络瞬断外彻底无感知。将来GPU可用区的网关也能经过这种能力不断更新版本。
物理云网关互备集群
丰富的产品互联
GPU可用区支持标准的网络产品,包括弹性EIP、私有网络VPC、NAT网关等。将来计划将上线高速通道UDPN,和广州可用区互联。
在AI训练场景下,TB级别的训练数据如何搬迁上云是用户的核心诉求。UCloud提供高性能NAS盘柜寄送服务,可支持最大100T的离线数据搬迁,传输做业完成后,会以低阶格式化方式擦除数据,以确保数据安全。
分布式训练场景下一般须要大容量的中央存储节点。GPU可用区目前提供SSD磁盘的高性能物理机做为存储节点。后续将提供UFS(分布式文件存储)产品,给用户提供最优的存储选择。
对福建GPU可用区有任何建议和疑问,欢迎点击http://ucloudtml.mikecrm.com/aiTDtNg垂询。