若是说十年前,王坚创立阿里云让云计算在国内获得了普及,那么王坚带领团队自主研发的大数据计算平台MaxCompute则推进大数据技术向前跨越了一大步。服务器
数据是企业的核心资产,但十年前阿里巴巴的算力已经没法知足当时急剧增加数据量的需求。基于Hadoop搭建集群是当时解决大规模数据计算的主流方案,Hadoop生态已经比较成熟,并且在规模上也能够解决当时阿里遇到的性能瓶颈。但刚加入阿里的王坚却另辟蹊径,决定自研一个大数据计算平台,也就是今天的MaxCompute。oop
但王坚看到,当时淘宝的业务还在快速增加,若是用Hadoop搭建的计算平台会再次遇到挑战,更别提为外部企业提供算力。性能
也正是由于这一坚持,才有了今天EB级的大数据计算平台MaxCompute。过去十年,MaxCompute打破了多个记录:2013年,突破了单集群内5000台服务器同时计算的局限,现在单集群已超过1万台的规模;2015年,打破计算界奥运会SortBenchmark的4个世界纪录,用不到7分钟便完成了100TB的数据排序,刷新了ApacheSpark 23.4分钟的纪录;2017年成为全球首个100TB规模Bigbench测试经过的大数据计算平台。测试
现在MaxCompute已经成为众多企业和机构算力的来源,为众安保险、墨迹天气、协鑫光伏、千寻位置、华大基因、人人车等各行业企业数字化转型提供了强大的算力。例如,墨迹天气使用MaxCompute后,开发效率提高超过5倍,存储和计算费用节省了70%,天天处理分析2TB的日志数据,更高效的赋能其个性化运营策略;此外,MaxCompute还支撑城市大脑自动指挥城市路口信号灯,而且成功应用于杭州、澳门、吉隆坡等国内外多个城市的交通治理。大数据
从全球范围来看,拥有自研大数据计算平台的科技公司也只有阿里云、Google和亚马逊几家。但假若当初没有王坚的坚持和远见,恐怕今天许多互联网公司,也难以享受到MaxCompute带来的红利。阿里云
MaxCompute产品官网 https://www.aliyun.com/product/odps云计算
本文做者:晋恒日志
原文连接blog
本文为云栖社区原创内容,未经容许不得转载。排序