腾讯刘金明：腾讯云 EB 级对象存储架构深度剖析及实践

欢迎你们前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~

演讲者：刘金明 腾讯云存储业务中心副总监

背景：5月23-24日，以“焕启”为主题的腾讯“云+将来”峰会在广州召开，广东省各级政府机构领导、海内外业内学术专家、行业大咖及技术大牛等在现场共议云计算与数字化产业创新发展。

腾讯云存储业务中心副总监-刘金明，在云+将来峰会上作了主题为《腾讯云 EB 级对象存储架构深度剖析及实践》的分享，如下内容整理自演讲。

刘金明：你们好。我是来自腾讯云存储业务中心的副总裁刘金明。

说到对象存储，咱们不得不提一下腾讯存储平台PFS，早在2016年我还在学校的时候，对分布式存储尚未任何概念的时候，个人前辈就推出第一款腾讯存储平台PFS，几年间也为微信、QQ、相册，包括腾讯视频，腾讯内部全部的资源业务来负责他们的存储服务，到了2013年，咱们整个腾讯云把咱们的存储能力包装以后对外开放，到了2014年，整个腾讯存储已经突破了500PB，整个数据已经到了万亿级别。到了2015年的时候，咱们把整个接口标准化，而且在整个数据层面已经到了EB级别。时间来到2016年的时候，咱们不论是索引仍是数据，对整个存储引擎作了架构的优化，不管是性能仍是架构方面都获得了更好的提高。同时咱们对基于存储之上智能数据的方面，包括相关的应用也应运而生。

咱们不得不提一下整个cos的产品状态，大概能够分为三层，好比咱们cos最底层属于基础平台，也提供了不少SDK、API等等，可以提供给各大客户基本的上存、下载的基本服务。在应用接入层，咱们有一些图片的、裁剪、视频的转买，包括文档的预览等等数据处理和识别的服务，同时也推出了日记服务、基因、企业网盘等等不少解决方案。若是像一些数据比较热或者是流量比较大的客户也能够直接用咱们的CDM进行全球的加速。

目前整个cos在全球13个园区开放了，包括美洲、欧洲等等，不少地方都有咱们的cos产品，包括世界杯快来临，包括俄罗斯和日本也立刻推出。

下面咱们重点讲一下整个cos的基础架构，和咱们cos面对的一些问题，以及一些应用案例。cos的架构，咱们其实简单能够分为三层，最上层是网络接入层。整个网络这一层是多机的BPG介入，并且能够对于一些攻击流量进行很智能的清洗，咱们的腾讯资源网关能够对整个接入这一块作到智能的附带均衡。在应用层整个是彻底无状态服务的一层，整个集群能够彻底无限扩展，到数据层，他们经过部署，好比说咱们能够作到跨机房，跨交换机的部署，咱们整个集群都是数据化处理，冷热智能也是很天然的调度。

不少客户一旦用了咱们的对象存储，由于存的不少核心数据，你们比较关心的问题是什么？无外乎如下5点，就是我用了你的服务，你必定要保证个人服务足够稳定，而且我存的数据不能丢失，足够的可靠，并且个人数据能足够的安全，性能足够好，而且用的钱最低。咱们下面就每一个逐一的来详细讲解一下。

腾讯云的cos对外提供的可用性是99.95%，其实也就是经过咱们一些常规的架构层面，一些故障自动剔除，自动重置的服务等等，咱们能够作到平台足够的可用性。咱们上了云之后，不少客户一块儿用咱们的平台，还有一些突发的大事件，咱们怎么来保障咱们平台足够稳定？好比像春节或者除夕的时候，相似于微信同样，可能有很大的突发，好比说电商服务，一年突发都是数十倍，这样一个程度的增加。当出现突发的时候，咱们平台怎么保证稳定，而且一个业务的突发不会影响其余的业务？其实咱们提供了不少手段，好比说咱们对于这些突发的事件，若是咱们有碰见的话，咱们能够提早将它的热点数据，咱们提早分发到大数据的流量平台，好比你加一层其余的服务，咱们保证咱们整个存储流量，尽可能保证不是特别大。另外咱们能够经过计算平台把咱们须要的资源尽快的上架。

无论怎么作，咱们都不可能保证你的平台突发无限制的，能让你一直这样用，咱们能够经过什么方法？若是是一个视频服务，咱们能够经过柔性策略，假如咱们平台资源不够，对于客户来讲，咱们本身应用的时候能够作一些降级的服务，用更低的马力服务客户。或者若是对咱们产品功能有一个很详细的了解，是否是咱们能够保证一些核心的功能的访问，好比视频更重要，是否是能够保证视频的服务，其余周边的一些服务，咱们就把它擦掉，相似于这样的，基于功能和质量的降级服务，保证咱们平台的稳定。若是某一个客户突发已经影响了咱们整个平台的时候，咱们整个腾讯云cos也能够作到按照用户层面的自动隔离，对于单个用户进行防过载、流控或者屏控的手段，可以保证整个平台不受影响，稳定性达到99.5%。

安全可靠层面，咱们怎么保证11个9的可靠性？前面也讲到了，咱们整个的腾讯云cos，不论是索引仍是数据，咱们都是集群化管理的。若是数据一块盘坏了或者一个机器坏了，或者大到一个机房坏了，咱们怎么调度，怎么处理？最简单一点，咱们多数存储都是多复本的，坏了一份或者坏了N份咱们能够从其余的方面来补充数据。首先咱们能够从其余复原本保证用户的数据，没有任何问题的来读取，若是出现故障短时间恢复不了，将其转移到其余的集群，保证这个数据快速的恢复，若是咱们出现故障的时候，咱们怎么发现？好比咱们磁盘坏了，咱们你们存的是冷数据，怎么能发现这个磁盘坏了或者整个节点坏了？其实咱们有不少方式，除了用户正常访问级别的发现之外，咱们增长了不少平常的巡检，包括心跳勘测等等不少手段来尽快的发现，而且迁移掉咱们有坏盘或者是坏节点的数据，保证咱们整个集群足够的可靠。

你们上云，包括不少传统行业都很是看重整个数据的安全性，咱们整个腾讯云的cos对象存储提供了全链度的安全，从最上层用户到SDK这一层，能够从这一层来加密，包括整个传输层、协议层的加密，包括到了咱们底层的用户若是有受到攻击的时候，咱们怎么作清洗，到下面，咱们每一个请求，刚才好像其余团队也讲了，咱们每一个用户，他什么状况下在什么时间内，有什么权限能够访问本身的资源，这些都是有一些权量的工做。包括后端整个服务端的加密和销毁性，你们看这上面，这就是服务加密的三套加密。

说到咱们的数据安全，我想提一个例子，咱们前一段正在跟腾讯影业合做的案例，腾讯影业最近推出了两款陆川导演《两万千米计划》和一个电影《拓金者》，你看一下，虽说它这一个影片只是两个小时，差很少这样的一个时长，其实它前期的素材大概可能有几百PB，并且拍摄点是全球各地，跟咱们合做之前，你们传统营业广电传媒公司是你们背着硬盘全球跑，很是费时、费力、费心，安全性很难保证，对于整个影片没有对外推广的时候，整个知识产权，包括不少东西，对安全性要求很是高。跟咱们腾讯的cos深密结合之后，只要在异地把他的影片拍完之后，在当地上传之后，咱们经过全球的加速或者跨区复制等等不少手段同步到其余各地，咱们就能够把它整个很完美的将影片提供给他的后期制做团队，保证它的数据安全。

其实你们若是用到了存储，必然少不了对性能的要求，怎么样更快速的，或者是延时更低的把个人数据从云端上传上来，视频、图片等等，各类各样的种类，并且文件大小也不一样，咱们基于小文件，咱们作了一些整个链路的缩短，对于大文件作一些分块或者分片的并发，并且咱们整个平台基于这个协议层面，基于内核层面等等不少手段，保证整个数据，基本用户在使用的状况下下载到咱们的腾讯云cos，而且很快的下载下来。还有刚刚说的这些种类，好比视频的客户，咱们的转码，你想让你的速度更快，你在播放的时候，在不一样的终端能够选择不一样的码率，咱们如今有基于263的转码，不少不少种的格式，它能够在保证你的人眼感官程度没有任何变化的状况下，你的整个内容，就是你看不出任何区别来，可是你这个对象大小减小不少，这样咱们的性能，由于文件小，传的速度确定快，用的带宽也小，整个成本也下降了。

除了这些用科技手段，把咱们视频跟图片作一些交换、转码来达到咱们的成本优化，咱们还有不少手段，相似于日记，咱们能够对数据进行压缩，相似于网盘这样的服务，咱们在上传以前进行去重。好比咱们数据存到云端了，咱们还能够提供一些存储的分析功能，让咱们整个存储数据在咱们整个多级存储里面调度，好比说像咱们的微信，咱们的朋友圈，好比咱们如今能够设置3天或者是更长的时间，半年，半年的数据确定很是老了，咱们能够按照这个时间来把整个数据再不一样的存储级别调度。而后咱们在最底层的硬件层面，咱们逐年一直在硬件存储密度上作文章，包括咱们的功耗等等，一直在节省整个存储成本。其实咱们作的这些也进一步的下降咱们整个产品的价格，也是节省了用户的价格，把这个红利让户给用户。

除了刚才说的这几个基本功能之外，咱们腾讯云cos也在持续针对更上一层的层面持续推出一些高级功能，好比咱们的生命周期，刚才咱们说的这个，好比说咱们的数据沉降，包括删除等等，不少层面，若是咱们的客户有这样的需求，你只要在cos的管理控制台上配一个规则，咱们就能够定时将你的数据，在各层之间移动，而且在规定的时间内，这样子的数据作一个删除。

还有一些在可靠性方面的增强，咱们也有多版本、跨区域复制的高级功能。跨区域复制，影业方面就用到这个跨区域复制，以前有一个英文的培训机构，他们的讲师都是在国外的，它的受众，听课者都是在国内，怎么让上传和下载的两方速度足够好？就用到了跨园区复制，当这个讲师上传之后，经过跨园区复制传回到国内。这也是国内和其余的厂商没有的功能，保证数据并发的时候，数据出错的可能性尽可能的下降。

刚才我介绍了整个存储平台的时候场景的时候，咱们也说了加速，数据分析的场景。在数据分析的场景，其实咱们推出了两款，一个是清单，一个是标签。清单是什么？清单就是你须要访问某一个规则下规定的列表，若是经过咱们基本的功能，确定很慢，咱们经过清单就把你须要的列表投递到你须要的地方，而后你能很快的作你本身想作的大数据分析场景。包括后面的标签，这个应用场景更多了，如今不少识别场景打着各类标签，好比咱们的直播里面，咱们对场景，包括人物，包括风景等等，各类的标签，其实这些咱们均可以对整个的用户，就是基于存储之上的智能分析应用作很好的服务。

最后我也给你们讲咱们如今的两个案例，一个是智能安防的场景。其实目前有不少，好比咱们如今的大会里面周围也可能有一些摄象头，这个摄象头天天拍的数据很是多，正常来讲，咱们若是有网络摄象头，用户直接就买一个网络摄象头，而后用到咱们整个的腾讯云相关的产品，好比说用到了直播，而后把整个流路注下来，直接传到cos，用户须要审核或者须要播放的时候，再从cos读出来。若是这个时间比较久了，价值不大了，或者对访问延时没有这么高的状况下，咱们能够把它降到更低存储的，尽可能的节省用户的成本。其实整个里面用到了不少整个腾讯云生态里面的东西，包括刚才说了智能AI，好比说应用到监控，确定有一些识别的场景都须要。

另一个场景，介绍一下咱们的大数据的场景，其实我刚刚提到了清单，这个清单就是在大数据场景里面一个很好的应用，大数据场景里面还有一点，好比咱们不少以前大数据用户都存到本地的DFS，咱们腾讯云的cos也提供了不少便捷的工具，便捷式的，跟原来的DFS接口同样，提供了DFS cos的工具，用咱们的大数据套件，对你整个存到cos的数据进行实时的分析跟离线的分析。这里要说一点，对于离线分析的场景，好比咱们有不少客户，他可能须要一个任务的时候，提到了这个任务之后，那个保证流量很是高，相应的成本也很是高，你能够用到咱们腾讯云cos限流服务，对这个要求没有这么高的状况下，能够用到小点来节省咱们整个用户的成本。

其实刚刚最前文已经讲到了，除了包括智能安防和大数据之外，还有基因、医疗、网盘等等不少不少的场景，我相信你们用到存储不可能只用这几款，几种使用场景，可能将来咱们腾讯云也会推出更多的应用类的解决方案给广大客户。

问答
云存储Redis的实例怎么备份？
相关阅读
冯宇彦：基于大数据与人工智能的智慧交通云
毛华：智能交互，AI助力下的新生态
王磊：AI 在传统产业的最佳实践

此文已由做者受权腾讯云+社区发布，原文连接：https://cloud.tencent.com/dev...

欢迎你们前往腾讯云+社区或关注云加社区微信公众号（QcloudCommunity），第一时间获取更多海量技术实践干货哦~