CNCF案例研究：网易

网易如何利用Kubernetes支持全球互联网业务

公司：网易
地点：中国杭州
行业：互联网技术

挑战

它的游戏业务是世界上最大的游戏业务之一，但这并非网易为中国消费者提供的惟一服务。该公司还经营电子商务、广告、音乐流媒体、在线教育和电子邮件平台；最后一个经过163.com等网站为近十亿用户提供免费电子邮件服务。2015年，为全部这些系统提供基础设施的网易云团队，意识到他们的研发流程正在减缓开发者的速度。“咱们的用户须要本身准备全部基础设施。”网易云和容器服务架构师Feng Changjian说。“咱们渴望经过无服务器的容器服务，自动为咱们的用户提供基础设施和工具。”

解决方法

在考虑创建本身的业务流程解决方案后，网易决定将其私有云平台创建在Kubernetes上。这项技术来自Google的事实让团队相信它能够跟上网易的规模。“通过2到3个月的评估，咱们相信它能够知足咱们的需求。”Changjian说。该团队在2015年开始使用Kubernetes，甚至在1.0以前。今天，网易内部云平台还利用了CNCF项目Prometheus、Envoy、Harbor、gRPC和Helm，在生产集群中运行10,000个节点，而且能够在一个集群中支持多达30,000个节点。基于其内部平台的经验，该公司向外部客户推出了基于Kubernetes的云和面向微服务的PaaS产品，网易轻舟微服务。

影响

网易团队报告说，Kubernetes使研发效率提升了100％以上。部署效率提升了280％。“在过去，若是咱们想进行升级，咱们须要与其余团队合做，甚至在其余部门工做。”Changjian说。“咱们须要特殊的工做人员来准备一切，因此花了大约半个小时。如今咱们能够在5分钟内完成。”新平台还容许使用GPU和CPU资源进行混合部署。“以前，若是咱们将全部资源都用于GPU，咱们就不会为CPU提供备用资源。可是如今咱们经过混合部署获得了改进。”他说。这些改进也提升了资源的利用率。

“该系统能够在一个集群中支持30,000个节点。在生产中，咱们在单个集群中得到了10,000个节点的数据。整个内部系统正在使用该系统进行开发、测试和生产。” - Zeng Yuxing，网易架构师

它的游戏业务是全球第五大，但这并不是网易为消费者提供的惟一服务。

该公司还在中国经营电子商务、广告、音乐流媒体、在线教育和电子邮件平台；其中最后一个经过163.com和126.com等热门网站为近十亿用户提供免费电子邮件服务。凭借这种规模，网易云团队为全部这些系统提供基础设施，在2015年发现他们的研发流程难以使开发者知足需求。“咱们的用户须要本身准备全部基础设施。”网易云和容器服务架构师Feng Changjian说。“咱们渴望经过无服务器的容器服务，自动为咱们的用户提供基础设施和工具。”

在考虑创建本身的业务流程解决方案后，网易决定将其私有云平台创建在Kubernetes上。这项技术来自Google的事实让团队相信它能够跟上网易的规模。“通过2到3个月的评估，咱们相信它能够知足咱们的需求。”Changjian说。

“咱们利用Kubernetes的可编程性，以便咱们能够构建一个平台来知足内部客户的升级和部署需求。” - Feng Changjian，网易云和容器服务架构师

该团队在2015年开始采用Kubernetes，甚至在1.0以前，由于它相对容易使用，而且让公司启用了DevOps。“咱们放弃了Kubernetes的一些概念；咱们只想使用标准化框架。”Changjian说。“咱们利用Kubernetes的可编程性，以便咱们能够构建一个平台来知足内部客户的升级和部署需求。”

该团队首先专一于构建容器平台，以更好地管理资源，而后经过添加监控等内部系统，将注意力转向改进其对微服务的支持。这意味着整合CNCF项目Prometheus、Envoy、Harbor、gRPC和Helm。“咱们努力提供简化和标准化的流程，所以咱们的用户和客户能够利用咱们的最佳实践。”Changjian说。

团队正在继续改进。例如，企业的电子商务部分须要利用混合部署，这在过去须要使用两个独立的平台：基础架构即服务平台和Kubernetes平台。最近，网易建立了一个跨平台的应用程序，能够同时使用单命令部署。

“只要公司拥有一支成熟的团队和足够的开发者，我认为Kubernetes是一种很是好的技术，能够帮助他们。” - Li Lanqing，网易Kubernetes开发者

今天，网易内部云平台“能够在一个集群中支持30,000个节点。”架构师Zeng Yuxing说。“在生产中，咱们在单个集群中得到了10,000个节点的数据。整个内部系统正在使用该系统进行开发、测试和生产。”

网易团队报告说，Kubernetes使研发效率提升了100％以上。部署效率提升了280％。“在过去，若是咱们想进行升级，咱们须要与其余团队合做，甚至在其余部门工做。”Changjian说。“咱们须要特殊的工做人员来准备一切，因此花了大约半个小时。如今咱们能够在5分钟内完成。”新平台还容许使用GPU和CPU资源进行混合部署。“以前，若是咱们将全部资源都用于GPU，咱们就不会为CPU提供备用资源。可是如今咱们经过混合部署获得了改进。”他说。这些改进也提升了资源的利用率。

“经过与这个社区合做，咱们能够从中得到一些经验，咱们也能够从中受益。咱们能够看到社区面临的问题和挑战，并参与其中。” - Li Lanqing，网易Kubernetes开发者

基于使用其内部平台的结果和经验，该公司向外部客户推出基于Kubernetes的云和面向微服务的PaaS产品，网易轻舟微服务。“咱们的想法是，咱们能够找到咱们的游戏和电子商务以及云音乐供应商遇到的问题，所以咱们能够整合他们的经验，并提供一个平台来知足用户的需求。”Changjian说。

不管是否使用网易产品，该团队都鼓励其余公司尝试Kubernetes。“只要公司拥有一支成熟的团队和足够的开发者，我认为Kubernetes是一种很是好的技术，能够帮助他们。”Kubernetes开发者Li Lanqing说。

做为最终用户和供应商，网易已经更多地参与社区，向其余公司学习并分享他们所作的事情。该团队一直在为Harbor和Envoy项目作出贡献，并在网易规模测试技术时提供反馈。“咱们是一个专一于解决微服务架构挑战的团队。”Changjian说。“经过与这个社区合做，咱们能够从中得到一些经验，咱们也能够从中受益。咱们能够看到社区面临的问题和挑战，并参与其中。”

---

KubeCon + CloudNativeCon + Open Source Summit大会日期：

• 会议日程通告日期：2019 年 4 月 10 日
• 会议活动举办日期：2019 年 6 月 24 至 26 日

KubeCon + CloudNativeCon + Open Source Summit赞助方案
KubeCon + CloudNativeCon + Open Source Summit多元化奖学金现正接受申请
KubeCon + CloudNativeCon和Open Source Summit即将首次合体落地中国
KubeCon + CloudNativeCon + Open Source Summit购票窗口，当即购票！
CNCF邀请你加入最终用户社区