【华为云技术分享】大数据容器化成趋势，华为云BigData Pro身先士卒

大数据的需求热度，历来都是这个时代的浪尖。然而因为大数据系统的复杂性，一度致使业界大数据已死的各类声音不断。尤为是当MapR被HPE收购，Cloudera公司股票持续跌成狗，使得这种声音进一步放大。

其实，大数据的需求一直在，只是传统的大数据实现系统须要考虑从新构建。而容器依靠其自身的标准化，一次构建，随处运行的能力，使得很是适合大数据系统的构建和管理。容器技术当前正是那只火遍全球的当红辣子鸡。

数据容器化，大势所趋

目前已经有大量的大数据系统原生支on Kubernetes。例如Spark官方版本，从2.3开始，就能够无需任何修改直接跑在K8s上。而且，将“更好的在k8s上运行”做为后续版本的重要特性方向。可见k8s对大数据系统的影响多么重要

 

队友已在加速，你感觉到了么？

因为容器技术对大数据的这种良好助推做用，目前已经有很多技术嗅觉敏锐的头部玩家，开始尝鲜并从中捞取第一桶金。

例如：中国联通的容器化大数据平台实践；京东在使用Kubernetes管理大数据中心；网易基于Kubernetes和Docker构建构建猛犸大数据平台；茄子科技直接将大数据任务大量在生产环境跑在K8S之上；华为云DLI服务容器化，阿里云Flink on K8s等。这些可见的信息都代表这个大方向已经开始加速了。若是你还在艰难的维护着你那庞大的大数据系统，那么你须要停下里看看队友们在干什么。

BigData on K8s 最直接的优点不是性能提高，而是成本的降低。

（1）高利用率的资源调度平台。原来分散在多个集群中的业务，能够合并到统一的集群中，加上长任务短任务混部，及不一样业务高峰时间的削峰填谷，来最大化提高集群资源利用率。

（2）统一的技术栈。原有的Yarn调度，节点管理技术，与当下宇宙标准K8s集群调度系统，目标是同样的。可是维护2种技术栈，就得增长研发人力成本，统一的基础设施技术栈，降成本效果明显。

（3）容器自动化能力。标准化是推进 IT 技术持续发展的原动力之一。容器技术自己理念就是一次构建，随处运行，这个与标准化理念是一致的。经过容器技术的标准化实施，并整合容器生态，创建运维系统。能够很好的下降业务系统的运维成本，甚至运维工具自己的构建和使用成本。

容器+存算分离，要速度也要成本

当前的大数据计算将计算和存储结合在一块儿的模式，是分布式架构构建的一种尝试。可是当社区修改HDFS以支持Hadoop 3.0的ErasureCode（纠删码）时，即接受了：不(Wu)再(Fa)支持就近读取的策略。它就表明了一种新趋势：为了适应不一样场景，存储空间和算力配比应该是灵活的，能够分别独立的构建。

IDC中国报告指出：“解耦计算和存储在大数据部署中被证实是有用的，它提供了更高的资源利用率，更高的灵活性和更低的成本。”这一论断与不少企业正在进行的大数据架构变革不谋而合。

同时，伴随着容器技术的成熟及在各行业深刻普遍的应用，企业愈发意识到容器技术的优点能很好解决大数据平台当前所遭遇的困境。容器以其更小颗粒度的算力分配、更轻量和快捷的部署方式、灵活的任务调度等特色，能够进一步提高资源利用率，并轻松应对大批量任务并发时的算力扩容。

 

鲲鹏之上，火山助力

华为云自主研发的鲲鹏处理器，具有多核高并发能力，可为用户提供包括裸金属服务器，云服务器，容器和Serverless在内的多种粒度的算力，大数据分布式场景性能可有大幅提高。

其中鲲鹏大数据容器，具备极致弹性的调度能力，能够每秒发放1000容器，减小资源弹性等待时间，提高计算效率。而裸金属容器技术，因为大幅下降虚拟化的开销，可更进一步的提高服务器执行业务的利用率。采用Serverless模式的容器集群，能够很好的支持按需弹性无限扩展，用来执行Spark大数据任务，轻松处理PB级数据做业。

Volcano（火山）项目是华为容器团队开源的一款K8s加强型调度器。初衷为了解决原生K8s不支持Gang Scheduling问题，后来因为AI和大数据等业务领域也开始对K8s有极大的述求，团队成员经过总结具体场景实践经验，打造有价值的技术产品，并贡献社区。

Volcano经过高性能的调度算法，达到更高的容器调度速度。同时，自带的多种算法插件，能够极大的提高集群资源利用率。同时，Volcano也补齐了K8s原生调度器与Yarn调度器间的Gap，例如资源的队列管理（Queue）能力等。为大数据容器解决方案，插上了带火的翅膀。

 

大数据世界，容器来助威

BigData Pro是业界首个鲲鹏大数据解决方案，该方案采用基于公有云的存算分离架构，以可无限弹性扩容的鲲鹏算力做为计算资源，以支持原生多协议的OBS对象存储服务为统一的存储数据湖，提供“存算分离、极致弹性、极致高效”的全新公有云大数据解决方案，大幅提高了大数据集群的资源利用率，能有效应对当前大数据行业存在的瓶颈，帮助企业应对5G+云+智能时代的全新挑战，实现企业智能化转型升级。

其中，鲲鹏大数据容器解决方案，做为BigData Pro解决方案中重要一员，更是提供了完整的容器化大数据解决方案。

在2019年度中国数据与存储峰会年度颁奖典礼上，华为云BigData Pro大数据解决方案荣获了“2019年度大数据产品金奖”，也再一次展现了华为云在大数据领域的不凡实力。

 

点击这里，了解更多精彩内容