杉岩数据银行Documentum迁移方案

Posted 2021-03-22

一、方案原理

常规的Documentum迁移工具，如图1所示EMC原厂提供的EMA（Documentum Enterprise Migration Appliance）迁移工具，通常通过绕开Documentum的内容服务器API接口，根据Documentum内部文件对象索引规则直接访问数据库和NAS服务器来加速Documentum迁移过程，性能相比于通过API接口迁移能够提升10倍，但是每个小时也只能搬迁120万对象，如果Documentum存储了10亿文件对象，刨去其他工作或者异常处理的时间，最短也需要35天时间，这是一个充满风险和不可控因素的过程，另外因为应用侧不可能停机等待35天，所以应用侧必须改造业务支持同时从两边去读写数据，增大了业务改造工作量和业务代码的复杂度。

如图2所示，杉岩提供的Documentum迁移方案，同样通过直接访问Documentum的数据库获取文件的元数据和索引信息来提高迁移性能，另外基于NAS纳管特性，针对历史存量数据，在业务无需停机的情况下短时间内完成历史存量数据的纳管，然后在业务切割的极短时间窗口内，基于数据库时间戳快速完成增量数据的纳管，此时上层业务即可立即恢复正常服务，整个业务切换完成。

业务切割到SandStone MOS完成后，整个影像系统访问NAS和SandStone MOS的数据流程如图3所示：

所有新的文件保存到SandStone MOS，历史文件数据的读取由对象网关服务层自动代理到NAS；
业务在线的情况下，管理员通过SandStone MOS生命周期转移特性，设置NAS数据转移到SandStoneMOS的具体时间点和策略，SandStone MOS将自动完成全量NAS文件到自身的搬迁。
二、 业务接口改造

影像平台使用Documentum，通过Documentum提供的HTTP方式的API接口完成增删改查操作，SandStone MOS提供的S3接口同样属于HTTP方式的API，所以业务系统改造只需要从原来的Documentum接口改为调用SandStone MOS提供的标准S3接口即可。原有的方式是：影像系统通过Documentum API对数据进行检索，得到文件的r_object_id，进而根据r_object_id获取文件。数据完成迁移之后：影像系统通过MOS提供的检索接口检索对象，得到对象名，进而根据对象名称获取对象。

三 业务切割关键问题

1、 NAS纳管性能

NAS文件纳管的过程中，从Documentum的数据库查询文件的元数据和索引信息，然后将文件索引以及标签信息一并写入到SandStone MOS，Oracle 数据库的查询性能一般比存储系统写入的性能高，存在数量级的差别，所以NAS文件纳管的速度主要瓶颈在存储系统。

参考杉岩实验室测试报告数据，4节点环境8KB文件的写入TPS可以达到5000，因为NAS纳管的过程中业务尚未切割到SandStone MOS，所以所有写性能全部可以分配给到NAS作业，也就是纳管的性能参考指标为： 5000/s （具体值需要根据上线方案配置计算，一般会更高）。

2、 数据存量

XX银行当前影像系统的文件主要以50KB以下，以及50~900KB的文件为主，整套系统的数据量在300~400TB的体量，全国30多个分支银行，每个分支每年视频监控数据在50~60TB左右。

3、切割时间估算

假设存量数据总量按照300TB，平均200KB大小，总共大概是16亿个文件，按照5000/s的速度，那么如图4所示：

存量数据的纳管需要89小时，大概4天完成；
存量数据纳管的这4天内，业务数据增量为(30*50TB)/365 = 4.1TB，增量文件数量大概是2200万
2200万增量数据的纳管需要1.2小时，也就是业务切割时需要停机的时间，加上其他操作时间，预计2小时可以完成。

4、 失败回滚

假如业务切割到SandStone MOS上之后，验收测试发现异常需要处理，可以立即回滚业务系统，切回Documentum，因为实际数据和元数据都没有删除掉，整个系统能够立即恢复服务，风险小。

四、完整迁移步骤

1、准备工作

如图所示，保证Documentum的DB和NAS服务可以正常访问，业务系统正常运行，部署好SandStone MOS分布式对象存储可用。

2、存量数据纳管

无需停业务，保持业务正常在线。

记录当前时间点T1，通过迁移工具从数据库读取T1时间点及之前的文件元数据及索引一并写入SandStone MOS，完成存量NAS文件的纳管工作，预计花费时间4天。

3 业务停机

业务切割过程开始，记录当前时间点T2，停掉业务程序。

4、 增量数据纳管

完成T1到T2时间点新增数据文档的纳管，预计花费时间2小时。

5、 业务切换

此时所有Documentum文件数据通过SandStone MOS均可以统一访问，执行业务程序切换动作，将业务流量指向SandStone MOS。

6 业务恢复

启动新的业务程序，执行功能验证测试，如果失败则执行回滚操作，如果验证测试成功表明业务切割成功，整个迁移过程结束。

五 后期内容搬迁

1、数据正确性

SandStone MOS内置生命周期转移NAS文件的过程中，会自动对迁移完成的文件做MD5值校验，从而保证数据的完整性和正确性。

2、平滑迁移QoS

NAS文件搬迁的过程中为了防止对正常业务造成性能影响，SandStone MOS支持生命周期转移QoS控制功能，可以根据业务性能需求以及系统性能做合理调配，优先保证业务访问性能的前提下，最大化数据搬迁效率。

3、数据搬迁周期

业务切割成功之后，所有的新文件都直接写入SandStone MOS，所以后续需要搬迁的NAS文件数量是固定的，按照16亿计算，然后搬迁的生命周期转移QoS控制TPS为500，那么需要40天的搬迁时间，具体需要根据生产环境配置调整。

六、总结

面对XX银行上10亿的Documentum存量数据，EMC原厂提供的迁移方案需要超过一个月的迁移时间，工作量大、周期长，几乎不可行。

杉岩数据提供的Documentum迁移方案，结合SandStone MOS特有的NAS纳管特性，只需要4天的时间完成存量数据纳管以及2小时的停机时间窗完成增量纳管以及业务切割，极大简化了Documentum向对象存储迁移的业务复杂度，减轻应用改造和迁移工作量，能够满足XX银行Documentum迁移需求。