杉岩数据银行Documentum迁移方案

1、方案原理

常规的Documentum迁移工具，如图1所示EMC原厂提供的EMA（Documentum Enterprise Migration Appliance）迁移工具，一般经过绕开Documentum的内容服务器API接口，根据Documentum内部文件对象索引规则直接访问数据库和NAS服务器来加速Documentum迁移过程，性能相比于经过API接口迁移可以提高10倍，可是每一个小时也只能搬迁120万对象，若是Documentum存储了10亿文件对象，刨去其余工做或者异常处理的时间，最短也须要35天时间，这是一个充满风险和不可控因素的过程，另外由于应用侧不可能停机等待35天，因此应用侧必须改造业务支持同时从两边去读写数据，增大了业务改造工做量和业务代码的复杂度。

如图2所示，杉岩提供的Documentum迁移方案，一样经过直接访问Documentum的数据库获取文件的元数据和索引信息来提升迁移性能，另外基于NAS纳管特性，针对历史存量数据，在业务无需停机的状况下短期内完成历史存量数据的纳管，而后在业务切割的极短期窗口内，基于数据库时间戳快速完成增量数据的纳管，此时上层业务便可当即恢复正常服务，整个业务切换完成。

业务切割到SandStone MOS完成后，整个影像系统访问NAS和SandStone MOS的数据流程如图3所示：

全部新的文件保存到SandStone MOS，历史文件数据的读取由对象网关服务层自动代理到NAS；
业务在线的状况下，管理员经过SandStone MOS生命周期转移特性，设置NAS数据转移到SandStoneMOS的具体时间点和策略，SandStone MOS将自动完成全量NAS文件到自身的搬迁。
2、 业务接口改造

影像平台使用Documentum，经过Documentum提供的HTTP方式的API接口完成增删改查操做，SandStone MOS提供的S3接口一样属于HTTP方式的API，因此业务系统改造只须要从原来的Documentum接口改成调用SandStone MOS提供的标准S3接口便可。原有的方式是：影像系统经过Documentum API对数据进行检索，获得文件的r_object_id，进而根据r_object_id获取文件。数据完成迁移以后：影像系统经过MOS提供的检索接口检索对象，获得对象名，进而根据对象名称获取对象。

三 业务切割关键问题

一、 NAS纳管性能

NAS文件纳管的过程当中，从Documentum的数据库查询文件的元数据和索引信息，而后将文件索引以及标签信息一并写入到SandStone MOS，Oracle 数据库的查询性能通常比存储系统写入的性能高，存在数量级的差异，因此NAS文件纳管的速度主要瓶颈在存储系统。

参考杉岩实验室测试报告数据，4节点环境8KB文件的写入TPS能够达到5000，由于NAS纳管的过程当中业务还没有切割到SandStone MOS，因此全部写性能所有能够分配给到NAS做业，也就是纳管的性能参考指标为： 5000/s （具体值须要根据上线方案配置计算，通常会更高）。

二、 数据存量

XX银行当前影像系统的文件主要以50KB如下，以及50~900KB的文件为主，整套系统的数据量在300~400TB的体量，全国30多个分支银行，每一个分支每一年视频监控数据在50~60TB左右。

三、切割时间估算

假设存量数据总量按照300TB，平均200KB大小，总共大概是16亿个文件，按照5000/s的速度，那么如图4所示：

存量数据的纳管须要89小时，大概4天完成；
存量数据纳管的这4天内，业务数据增量为(30*50TB)/365 = 4.1TB，增量文件数量大概是2200万
2200万增量数据的纳管须要1.2小时，也就是业务切割时须要停机的时间，加上其余操做时间，预计2小时能够完成。

四、 失败回滚

假如业务切割到SandStone MOS上以后，验收测试发现异常须要处理，能够当即回滚业务系统，切回Documentum，由于实际数据和元数据都没有删除掉，整个系统可以当即恢复服务，风险小。

4、完整迁移步骤

一、准备工做

如图所示，保证Documentum的DB和NAS服务能够正常访问，业务系统正常运行，部署好SandStone MOS分布式对象存储可用。

二、存量数据纳管

无需停业务，保持业务正常在线。

记录当前时间点T1，经过迁移工具从数据库读取T1时间点及以前的文件元数据及索引一并写入SandStone MOS，完成存量NAS文件的纳管工做，预计花费时间4天。

3 业务停机

业务切割过程开始，记录当前时间点T2，停掉业务程序。

四、 增量数据纳管

完成T1到T2时间点新增数据文档的纳管，预计花费时间2小时。

五、 业务切换

此时全部Documentum文件数据经过SandStone MOS都可以统一访问，执行业务程序切换动做，将业务流量指向SandStone MOS。

6 业务恢复

启动新的业务程序，执行功能验证测试，若是失败则执行回滚操做，若是验证测试成功代表业务切割成功，整个迁移过程结束。

五 后期内容搬迁

一、数据正确性

SandStone MOS内置生命周期转移NAS文件的过程当中，会自动对迁移完成的文件作MD5值校验，从而保证数据的完整性和正确性。

二、平滑迁移QoS

NAS文件搬迁的过程当中为了防止对正常业务形成性能影响，SandStone MOS支持生命周期转移QoS控制功能，能够根据业务性能需求以及系统性能作合理调配，优先保证业务访问性能的前提下，最大化数据搬迁效率。

三、数据搬迁周期

业务切割成功以后，全部的新文件都直接写入SandStone MOS，因此后续须要搬迁的NAS文件数量是固定的，按照16亿计算，而后搬迁的生命周期转移QoS控制TPS为500，那么须要40天的搬迁时间，具体须要根据生产环境配置调整。

6、总结

面对XX银行上10亿的Documentum存量数据，EMC原厂提供的迁移方案须要超过一个月的迁移时间，工做量大、周期长，几乎不可行。

杉岩数据提供的Documentum迁移方案，结合SandStone MOS特有的NAS纳管特性，只须要4天的时间完成存量数据纳管以及2小时的停机时间窗完成增量纳管以及业务切割，极大简化了Documentum向对象存储迁移的业务复杂度，减轻应用改造和迁移工做量，可以知足XX银行Documentum迁移需求。