在将数据库从一个迁移到另一个时保持数据库一致性的最佳方法是啥

Posted 2023-03-30

【中文标题】在将数据库从一个迁移到另一个时保持数据库一致性的最佳方法是啥

【英文标题】：What is the best way to maintain consistency in database while migrating it from one to another在将数据库从一个迁移到另一个时保持数据库一致性的最佳方法是什么

【发布时间】：2019-09-06 09:45:46

【问题描述】：

目前我正在尝试将数据从数据库迁移到 数据库 A 到 数据库 B 我正在使用 ETL 作业 (PENTAHO KJB) 进行此操作。两个数据库不相同，但是数据库 A 的 pk 存储在数据库 B 中

有一些工作 x 不断用新数据更新数据库 A。每当数据库 A 中有任何新数据时，我都需要在数据库 B 的表中添加数据。

我目前使用的是什么方法。

维护表，其中包含上次更新数据库 B 表时间的详细信息，因此可以将其与数据库 A 表进行比较并检查行的创建日期。

2 根据 PK 检查唯一性，如果表 A 的 PK 存在于表 B 中，则表示该数据存在于表 B 中。

最好的方法是什么。如果我的任何方法是正确的？

【参考方案1】：

您可以通过多种方式来设计类似的东西。你正在做的事情听起来不错，如果它没有损坏，请不要修复它。

也就是说，我认为 Pentaho 中的维度查找/更新步骤可能对您很有效。您可以在步骤中指定一个技术密钥，然后更新或插入（在您的情况下，插入）您想要从一个表到另一个表的所有数据。它最初用于缓慢变化的尺寸，但我认为它也适用于您的情况。你可能会检查一下。虽然，根据您要更新的这些表的大小，这一步可能太慢了。

https://wiki.pentaho.com/display/EAI/Dimension+Lookup-Update