一行命令致使的数据丢失，阿里工程师是如何恢复的？

阿里妹导读：数据安全性被提到了史无前例的高度，数据保护的话题愈来愈成为敏感。由于，业务的中断时间对用户形成的影响越来越大。阿里技术专家凡钧从数据安全的形势与发展，面临的挑战，问题的定义，传统的解决方案，当前云厂商的解决方案，去阐述什么是连续数据保护并提出了弹性的可验证的连续数据保护方案(Elastic Assured Continuous Data Protection)。

1、摘要

相比于传统的连续数据保护等的解决方案，须要在Guest OS 层面或者在专有的存储层面，进行写时数据变化日志的获取，或多或少对生产机的存储性能有很大的影响，一旦上云，必将加剧客户的计算成本及存储成本。即便是混合的架构部署，在网络的带宽，实施的复杂性层面也很难与云端实施相比，很难知足传统企业客户的更低的RPO(Recovery Point Objective)及RTO(Recovery Time Objective)的诉求。虽然，连续数据保护的产品定位与快照，复制(Replication)的功能有所重合，但CDP的定位更加宽泛，注重数据的保护，恢复，更高效的业务连续性，不只仅局限于快照的实现及数据的搬移。

新的Pangu2.0的块存储的全新的架构为实现云端连续性数据保护提供了契机，特别是日志结构块设备(Log Structure Block Device)，其中包括：全新的数据写入方式，日志存储方式及快照方式等都极大地方便了连续数据保护的的实现。相信随着企业上云的加速，在兼顾存储性能的同时，将会知足传统高级企业用户的低RTO及低RPO的数据保护的紧迫需求。但数据备份及数据备份在考虑可操做的同时，数据可恢复的操做性在很大程度上决定了数据保护的有效性。

2、数据保护的挑战

在当今，数据安全性被提到了史无前例的高度，数据保护的话题愈来愈成为敏感。由于，业务的中断时间对用户形成的影响越来越大。在2017年，病毒，勒索软件，如WannCry, Peta 及 Locky及频繁的删库误操做，甚至有些对用户的备份软件进行直接攻击，使得云端用户对数据安全及数据保护的指望越来越高。

数据变得愈来愈重要: 数据=资产 数据=资源

2017年1月，“Gitlab误删库事件”引发业界对信息安全和重大风险的敏感神经。值得关注的是，在Gitlab恢复的过程当中，发现只有db1.staging的数据库能够用于恢复，而其它的5种备份机制都不可用。而db1.staging 是6小时前的数据，并且传输速率有限，致使恢复进程缓慢，Gitlab 最终丢掉了差很少6个小时的数据。

所以，如何下降数据丢失的风险，减少数据保护的窗口，下降用户的损失，提供高效的恢复机制，是用户的迫切须要。另外，从一个侧面能够看出，低RTO及可验证的恢复性，对数据保护的重要性；数据的可恢复性相对于存储成本在此刻是及其重要的救命稻草。

3、连续性数据保护的定义

存储网络协会(SNIA)对于连续性数据保护的定义为：连续数据保护是一套方法，它能够捕获或跟踪数据的变化，并将其独立保存放在生产数据之外，以确保数据能够恢复到过去的任意时间点。连续数据保护，能够基于块、文件或应用实现，能够为恢复提供足够的恢复粒度，实现几乎无限多的恢复时间点。

全球最具权威的IT研究与顾问咨询公司(Gartner)的定义为：连续数据保护是一种恢复方法，它连续或者近似连续的捕获或跟踪数据文件或者数据块的变化，同时以日志的形式进行保存。这种能力提供了更加细粒度的实时点，以减小数据的的丢失，而且使得任意的恢复点成为可能。一些CDP解决方案能够被配置去抓取连续的数据改变（真的CDP）或者以必定的时间抓取数据改变（准CDP)。

为了更好的表达CDP的状态，须要引入两个概念：RPO和RTO。

• RPO(Recovery Point Objective)：恢复点目标，指出现灾难的时候会丢失多长时间的数据,便是备份间隔。
• RTO(Recovery Time Objective)：恢复时间目标，指出现灾难的时候多长时间可让业务继续运做，即恢复时间。
• 真正的CDP概念被定义为RPO=0，RTO趋近于0，才能被成为CDP。当RPO不为0时称之为：Near CDP(准CDP)。

4、连续性数据保护的特色

传统的数据保护解决方案专一在对数据的周期性备份上，所以一直伴随有备份窗口、数据一致性以及对生产系统的影响等问题。而CDP为用户提供了新的数据保护手段，系统管理者无须关注数据的备份过程（由于CDP系统会不断监测关键数据的变化，从而不断地自动实现数据的保护），而是仅仅当灾难发生后，简单地选择须要恢复到的数据备份时间点便可实现数据的快速恢复。

连续数据保护和传统的灾难恢复技术相比，连续数据保护具备以下明显的特色：

一、首先能够大大提升数据恢复时间点目标(RPO)。备份技术实现的数据保护间隔通常为24小时（天天备份一次），所以用户会面临数据丢失多达24小时的风险，采用快照技术，能够将数据的丢失风险下降到几个小时以内，而CDP可以实现的数据丢失量能够下降到几秒（固然，不一样的CDP产品和解决方案提供的时间精度也不尽相同）。实际上，在传统数据保护技术中采用的是对“单时间点（SinglePoint-In-Time）”的数据拷贝进行管理的模式，而连续数据保护保护能够实现对“任意时间点（Any Point-In-Time）”的数据保护。

二、虽然复制(Replication)技术能够经过与生产数据的同步得到数据的最新状态，但其没法规避由人为的逻辑错误或病毒攻击所形成的数据丢失。当生产数据因为以上缘由致使数据遭到破坏时（例如数据被误删除），复制技术会将遭到破坏的数据状态同步到后备数据存储系统，使后备数据也受到破坏。CDP系统可使数据状态恢复到数据遭到破坏以前的任意一个时间点，也就能够消除前者具备的风险。

三、因为恢复时间和恢复对象的粒度更细，因此连续数据保护保护的数据恢复也更加灵活。目前的部分产品和解决方案容许最终用户（而不只仅是系统管理员）直接对数据进行恢复操做，这在很大程度上方便了使用者。

5、实现方式

连续数据保护实现的关键技术是对数据变化的记录和保存，以便实现任意时间点的快速恢复。通常来说，有三种实现方式：

- 基准参考数据模式。创建参考数据拷贝，根据生产数据变化记录数据差别日志，根据日志差别按需恢复数据。基准参考数据模式原理简单，实现起来比较容易，但因为数据恢复时须要从最原始的参考数据开始，逐步进行数据恢复，所以恢复时间比较长，尤为是恢复时间点越靠近当前的时间，恢复所须要的时间就越长。 
- 复制参考数据模式。生产数据和参考数据副本实时同步，在同步的同时记录回退日志或事件，基于回退日志（Undo Log）差别实现数据按需恢复。复制参考数据模式和基准参考数据模式在实现原理上刚好相反。复制参考数据模式在数据恢复时，恢复的时间点越靠近当前，所须要的恢复时间越短。但在数据的保存过程当中，须要同时进行数据和日志记录的同步，须要较多的系统资源。 
- 合成参考数据模式。合成参考数据模式是以上两种模式的折衷，较好地实现了以上两种模式的妥协，所以能够获得较好的资源占用和恢复时间效果。但须要复杂的软件管理和数据处理功能，实现起来比较复杂。 连续数据保护技术或解决方案的实现有多种模式。

不一样的传统厂商创建了不一样的连续数据保护保护模型，参考SNIA的存储共享模型, 能够将实现连续数据保护的产品或解决方案分为基于应用、基于文件和基于数据块的连续数据保护保护。本文主要从数据块层面讲CDP的实现。基于块的CDP功能直接运行在物理的存储设备或逻辑的卷管理器上，甚至也能够运行在数据传输层上。当数据块写入生产数据的存储设备时，CDP系统能够捕获数据的拷贝并将其存放在另一个存储设备中。 基于数据块的数据保护又有基于主机层、基于传输层和基于存储层三类实现方式。

6、传统数据保护产品的CDP

下面以FalconStorCDP、VeeamCDP及EMC RecoverPoint这3个厂商，从不一样背景进行分析，具备必定的表明性：飞康是传统的连续数据保护产品的表明。EMC传统的存储厂商，收购之前的RecoverPoint打造本身的数据保护套件, 方案创建在本身的存储上，提供物理机到虚拟机的保护方案。Veeam 是虚拟机保护的后起之秀，主打虚拟化平台上，VMWARE 及 HYPERV的数据保护，扩展到云端，目前的方案依赖于VMWare的VAIO 虚拟化数据获取框架。

EMCRecoverPoint/SE 是针对 EMC CLARiiON 系列阵列的全面解决方案，而 EMC RecoverPoint则是针对整个数据中心的全面解决方案。两种产品都提供了使用连续数据保护 (CDP)的同步本地复制，以及具备任意时间点恢复功能的同步和异步连续远程复制 (CRR)。在RecoverPoint 应用装置上同时运行CDP和CRR实现本地和远程(CLR) 数据保护，使您可以用单个解决方案同时在本地和远程保护相同数据。 飞康CDP解决方案整合了数据备份、系统恢复、灾难恢复、本地及异地容灾等多项功能。飞康CDP是基于磁盘的备份与容灾一体化解决方案，实现文件/数据库/操做系统的实时备份与瞬间恢复；实现了验证、演练的本地/异地容灾功能整合。

7、主要云厂商的数据保护方式

AWS仅提供原生的快照功能及帮助客户上云的手段，数据备份等功能依赖于传统的数据保护厂商；Azure提供基于虚拟机的基本的备份及恢复方式，没有提供CDP等高级功能。

8、可验证的弹性的连续数据保护CDP

根据Gartner的描述的弹性的云备份引擎，其中规定的了成功弹性备份的几个特征：

• 弹性的云备份引擎须要快速的RTO，这就要求备份引擎和数据恢复在一个数据中心。
• 弹性的云备份引擎须要有全备份，没有过大的WAN数据传输，将备份与生产机职责分开。
• 而且要确保数据的可恢复性。

连续数据保护CDP本质上做为一种高级的数据保护方案，由云厂商进行，具备传统备份所不具备的弹性。传统厂商为了上云，必然须要将数据通过WAN传输到云端，必然耗费CPU资源，必然耗费IO资源。为了躲避资源的耗费，可能采起定时开启的任务方式，连基本的弹性的备份都保证不了，更谈不上CDP。可验证性，强调了CDP方案的可靠性，可操做性。为了保证应用程序的数据的跨卷一致性，须要卷之间创建一致性组（Consistency Group）及应用程序的一致性(Application Consistency)。

9、结论

数据保护不是亡羊补牢，须要未雨绸缪。随着企业上云的快速增加，传统企业对云端数据保护的诉求更加突出；随着数据重要性的日益提升，用户对数据丢失的敏感程度史无前例，从而使得云端数据保护与用户需求之间的矛盾更加凸显。传统的基于块存储的连续数据保护由于大多依赖于特定的存储设备，并不具备云端实现所具备的弹性，并不适应云端分布式环境的复杂性。连续数据保护做为传统或者混合云数据保护的重要补充，定会以新的解决方案的出现而被企业用户所重视。全新的Pangu2.0的块存储的架构为实现云端连续性数据保护提供了契机，随着企业上云的加速，在兼顾存储性能的同时，将会知足传统高级企业用户的低RTO及低RPO的数据保护的紧迫需求。后续文章将会着重阐述基于基准参考数据模型的云端连续数据保护，该方案基于Pangu2.0的Block Storage实现连续性数据保护，着重描述连续数据保护的秒级数据恢复机制。

参考：
https://www.snia.org/sites/default/education/tutorials/2007/spring/data-management/Trends_in_Data_Protection_CDP_VTL.pdf
https://en.wikipedia.org/wiki/Continuous_data_protection
https://www.gartner.com/it-glossary/continuous-data-protection-cdp/
https://falconstor.com/page/700/continuous-data-protector-cdp
https://www.emc.com/collateral/guide/h12151-ho-emc-15-minute-continuous-availability-services.pdf
https://d1.awsstatic.com/whitepapers/Backup_and_Recovery_Approaches_Using_AWS.pdf
https://www.gartner.com/doc/reprints?id=1-4TIM69I&ct=180320&st=sbhttps://docs.microsoft.com/zh-cn/azure/backup/backup-azure-vms-first-look-arm
https://docs.microsoft.com/zh-cn/azure/backup/backup-azure-restore-files-from-vm
https://azure.microsoft.com/zh-cn/blog/large-disk-support/
https://amazonaws-china.com/cn/backup-restore/
http://everrundoc.stratus.com/7.2.1.0/en-us/Content/Help/P01_Users/C08_MngVMs/S03_ConfigWindowsVM/T_InstallQEMUWindowsVM.htm
http://www.arcserve.com/fr/~/media/files/whitepapers/ca-arcserve-family-r16-improving-system-and-data-protection.aspx
https://www.emc.com/collateral/software/white-papers/h4175-recoverpoint-clr-operational-dr-wp.pdf

---

本文做者：凡钧

阅读原文

本文来自云栖社区合做伙伴“阿里技术”，如需转载请联系原做者。