混合云存储跨云灾备方案之跨云备份

公有云市场现状，问题及趋势

从全球公有云市场来看，亚马逊AWS一枝独秀，占据了接近40%的市场份额。2017年整年，AWS营收为43.3亿美圆，销售额为174.6亿美圆。而在中国公有云市场，阿里云的市场份额达到了47.6%。在连续11个季度三位数增加以后，领先优点继续扩大：同期，国内第2至5位云服务商市场份额分别为9.6%、6.5%、6%和5.5%。

然而，近期公有云厂商出现了很多次故障和宕机事故：

2017年2月，一位AWS工程师试图对位于弗吉尼亚州数据中心内的一个S3存储系统进行调试的时候，意外地输入了一个错误命令行，随后大部分互联网，包括Slack、Quora和Trello在内的不少企业平台停机了4个小时。9月份，该区域（美东）又发生了一块儿存储事故。

2017年3月，微软Azure公有云存储可用性问题超过8个小时，主要影响到美国东部的一些客户。

2018年6月，阿里云在运维上的一个操做失误，致使一些客户访问阿里云官网控制台和使用部分产品功能出现问题。

2018年8月，云服务器声称99.9999999%数据可靠性的腾讯云，由于硬盘固件bug致使的静默错误，从而丢失了创业公司线上的生产数据。

相似这样的生产事故，在各大云厂商上，都发生过。这说明了公有云不安全吗？数据显示，亚马逊AWS增速为45.9%，微软Azure为61%，阿里云达到了126%。据Gartner统计，IaaS还是将来最具潜力的增加领域，将来5年的增加率为28%。群众的眼睛是雪亮的，群众的选择是明智的。若是这么多企业用户和我的用户都选择了公有云平台，并且愈来愈多的企业和我的用户都转向公有云平台，说明用户是承认公有云平台的可用性，安全性和可靠性的。这是大势所趋。一块儿事故引发了如此普遍的讨论，也从侧面证明了公有云普遍的用户基数和影响力。

传统备份容灾方案的问题

 

 

备份容灾的产品和方案，依旧是传统厂商的阵地。他们产品丰富，覆盖面广。相比较而言，其余云厂商在这方法的投入与产出显得比较薄弱。在咱们看来，传统的备份容灾产品主要有两大问题：

1. 非云原生：对于公有云用户来讲，云上的备份容灾生态不够健全。即便将传统厂商的备份和容灾软件成功部署，也很难与所在公有云现有的资源一块儿作到无缝监控与运维。另外，非云原生的备份容灾会给用户带去潜在的风险。即便一些备份容灾产品已经与公有云一些产品对接，可是面对公有云厂商的产品和功能的快速发布与升级，传统厂商依旧没法作到第一时间的响应与支持，用户也就失去了第一时间享受新功能和一些性能提高的机会。最后，云厂商内部众多产品也有内部协调，传统厂商的产品没法实现这一点。对于专有云（私有云）和混合云场景的用户，存在一样的问题。

2.价格昂贵，部署复杂：传统备份容灾产品面向的依旧仍是传统服务器和存储构建的生态。一台或多台设备的部署，方案的设计，以及按节点和容量的付费模式，一次性的投入对于中小企业是个沉重的负担。设备过保或者受权过时后的维护成本有时候比初期投入还要昂贵。 

用户的问题就是咱们的责任。除了提升每一个独立产品的可靠性和运维保障以外，如何提供高性价比，易用和高效的灾备方案，也是每一个公有云厂商责无旁贷的义务。愈来愈多的公有云用户，则意味着愈来愈强的灾备需求。阿里云混合云存储团队的云存储网关，混合云备份和混合云容灾产品可以给用户提供完备的容灾方案，从而解决客户本地IDC到阿里云的混合云灾备场景和其余云厂商平台到阿里云的跨云灾备（多云灾备）场景所遇到的问题。本文侧重梳理混合云存储团队这三个产品是如何应对跨云灾备（多云灾备）场景。

基于混合云备份的跨云备份架构

 

 

混合云备份对于用户而言，架构十分简单：客户端和云备份仓库。客户端安装在须要备份的主机上，而云备份仓库无限空间负责存储备份数据。对于用户来讲，客户端和云备份库是多对一的关系，二者经过公网或者专线打通。

混合云备份跨云备份架构图

 

基于混合云备份的跨云备份实施

在这一章节，经过两次备份和一次恢复来演示混合云备份是如何备份用户云主机上的文件，备份增量数据和恢复用户数据的。让你们对于混合云备份有一个直观的认识。

为了端到端的演示，咱们从国内另一家知名的云厂商T那边申请一台虚拟机，用它来模拟用户服务器。该云主机配置以下图所示：双核4GB内存，50G系统盘，100GB数据盘，内网和公网带宽分别为1.5Gbps和50Mbps，操做系统为64位CentOS 7.4，所在区域为上海。

服务器配置

其中，100GB数据盘内有33GB的数据文件和13GB的服务器日志。    

服务器数据盘内容

数据库数据文件

日志文件

而后，须要登录阿里云控制台，进入混合云备份页面开启服务，并建立备份。此处须要注意一点：出于备份性能和效率的考虑，混合云备份的区域最好是跟备份源端所在的区域一致或靠近。因此，混合云备份的区域也是‘华东2-上海区’。

 

选择区域并开通混合云备份

选择区域并建立备份

建立完备份及备份库以后，咱们须要下载客户端和证书。客户端是须要上传并安装在备份源端，也就是以前咱们建立的那台云主机上。

完成建立并下载客户端和证书

将下载完成的客户端软件上传至备份源的云主机上，解压并安装。    

上传并安装备份客户端

安装完成以后，在浏览器上打开这个URL：http://<云主机公网IP>:8011。这里须要注意：云主机的安全组极可能没有开启8011端口，须要用户编辑安全组规则，开放TCP: 8011端口。以后，会弹出备份客户端的注册页面。须要用户输入以前下载的证书（注册和链接备份源和备份仓库的钥匙），阿里云帐号的AK认证信息和用户本身设定的客户端登录密码。由于备份客户端和阿里云的云备份库之间是经过公网连通的，因此网络类型选择‘经典网络’。

备份客户端注册页面

注册成功以后，用户就能看到客户端备份页面。该页面是用户建立备份和恢复数据的入口。能够先建立一个当即备份（当即备份能够理解为单次备份，只执行依次；计划备份是按用户定义的排程，周期性的执行备份）。这里，咱们选择‘当即备份’来单次备份/server_dir目录。

建立备份

提交以后，备份就会当即执行了。在备份客户端页面，用户就能看到备份进度及其余相关信息。

备份进度

 

当备份正在执行的时候，有不少用户会很关心一个问题：备份会不会影响备份源端的正常业务？咱们能够经过源端的资源监控来查看备份进行时，CPU，内存和网络使用状况。能够看到，当备份开始执行的时候，CPU负载并无增长，内存使用增长了400MB左右。对服务器的资源占用并很少。网络带宽迅速被打满，体现了混合云备份服务的高性能特色（注：云主机只有一块网卡，因此内外网流量相同。暂且理解为该云厂商就是这么设计的）。

在备份时云主机的资源使用状况

 

接下来，向server_dir目录中增长一个新的目录，里面包含了不一样的13GB文件，并在‘流量控制’页面对备份任务作限流处理：24小时限流，最大速度为2MB/s。记得点击‘添加’将限流策略生效。

新增13G文件

备份限流

提交以后，备份任务执行。能够看到备份总量为57GB，但备份进度很快就显示79%，速度超过了1.5GB/s。这是由于备份源目录中，有超过45GB的文件是已经备份过的。混合云备份经过高效的比对算法快速甄别出两次备份集中的差别部分，将新增文件和有变化的文件增量备份至云上，从而提升了备份效率。

增量备份

看到备份速度显示1.56GB/s，确定不少人会有疑问：限流有没有起做用？让咱们来检查一下，流量控制是否生效。在云主机的资源监控和主机上的nload输出，能够很直观的看出，16Mbps就是2MB/s的出网速度。CPU利用率有一个很短暂的高负载阶段，那是由于在比对增量文件时，主机付出的计算成本。

 

云主机资源监控

主机nload输出

两次备份完成以后，咱们在阿里云控制台的混合云备份页面，也可以很是直白地看到备份概要的信息：2次成功的备份，总的源数据和实际占用备份库的数据。原始数据和实际占用有一个比例，表明了压缩重删比。阿里云混合云备份实现了高效的压缩重删算法，最高可达1:30，从而大大节约备份时的带宽占用和备份库的空间占用。

备份库信息

最后，咱们来演示一下混合云备份是如何实现跨云恢复文件的：将备份库中的文件恢复到其余云厂商的主机中。咱们模拟用户丢数据的场景，将db_file和server_log目录所有删除。    

删除文件

回到混合云备份服务的恢复页面，咱们能够看到以前成功备份的两次记录，以及相关信息。

混合云备份恢复页面

点击最近一次备份记录的‘恢复’按钮来恢复最近数据。弹出的数据恢复页面，能够指定将哪些备份文件恢复到哪一个目标目录中。很容易理解。这里须要注意一个细节：确定会有不少用户在目标文件夹这里写上跟备份文件夹同样的路径，而后选上‘全部文件’以后，实际恢复的时候会在‘/sever_dir/’下面再建立一个’sever_dir’目录。固然，这不会影响什么，只是在恢复完成以后，再作一些目录的移动操做就能够了。  

简洁灵活的恢复策略

点击‘提交’以后，就能看到数据恢复页面。能够看到恢复的性能，数据量和文件数统计。恢复性能比以前备份性能好，多是由于云厂商T对写入带宽放的比较宽。能够看到，恢复性能仍是很是好的。瓶颈应该是在该云主机100GB云盘的写入性能上。

数据恢复

一样的，用户也能够经过在云主机上查看网络流量的方式来确认的文件恢复的速度。

恢复性能

等恢复完成，用户能够在客户端的恢复页面看到恢复成功的状态。

恢复完成

经过登录云主机，咱们也看到被删除的2个目录被恢复回来了。而且，元数据也被完整恢复了。

恢复后的文件目录

 

小结

经过以上三个用例，用户能够很直观地了解到混合云备份在跨云或多云场景中是如何按需和按时地高效备份和恢复文件了。批处理一键安装和注册备份客户端可轻松支持多台云主机的文件备份场景，这对于企业用户保护多台主机的文件很是便捷。

 

最后，混合云备份客户端已经支持全版本的Windows操做系统（32位和64位）及主流的Linux发行版（32位及64位）。对MacOS的支持也会在近期发布。有兴趣的企业和我的用户，能够到阿里云官网上开通混合云备份并使用！