数据平滑迁移之追日志法

Posted 2020-12-22

数据平滑迁移种种需求,都需要进行数据迁移,如何平滑迁移数据,迁移过程不停机,保证系统持续服务,是文本将要讨论的问题。
平滑迁移-追日志法
1、数据迁移前，上游业务应用通过旧的服务访问旧的数据。服务进行升级，记录“对旧库上的数据修改”的日志（这里的修改，为数据的insert、delete、update），这个日志不需要记录详细数据，主要记录：1、被修改的库2、被修改的表3、被修改的唯一主键
2、研发一个数据迁移工具，进行数据迁移。这个数据迁移工具和离线迁移工具一样，把旧库中的数据转移到新库中来。
具体新增了什么行，修改后的数据格式是什么，不需要详细记录。这样的好处是，不管业务细节如何变化，日志的格式一定是固定的，这样能保证方案的通用性。
3、研发一个读取日志并迁移数据的小工具，要把步骤二迁移数据过程中产生的差异数据追平。这个小工具需要做的是：
1.读取日志，得到哪个库、哪个表、哪个主键发生了变化
2.把旧库中对应主键的记录读取出来
3.把新库中对应主键的记录替换掉
4无论如何，原则是数据以旧库为准。在持续重放日志，追平数据的过程中，研发一个数据校验的小工具，将旧库和新库中的数据进行比对，直到数据完全一致。
5在数据比对完全一致之后，将流量迁移到新库，新库提供服务，完成迁移。
UCACHE灾备云利用现有的数据中心及软硬件的整体方案实现了云端灾备，成本低，灵活的方案，保证企业重复数据删除技术