kettle数据同步方法

Posted 2020-08-31 就让往事随风2016

1、实时性要求不高，采用全删全插的方式（适合于维度表、大数据量表）

2、有时间维度，直接从事实表同步的数据，可以采用根据时间字段进行筛选，增量同步。这个网上有很多例子，就不重复写了。

 

3、没有时间维度，同时表数据量比较大，且不能采用全删全插方式的，可以采用增量更新的方法。

 

在第三种方法中，尤其需要注意3点。

1、新旧数据源的结构和字段名需要保持一致。在sql中，可以给字段取别名，字段的顺序要保持一致。

2、若从不同数据库中进行比较，如sqlserver和mysql，则需要对数据的类型进行转换，确保数据类型一致。可以在上图中新旧数据源与合并记录的连线处增加，字段选择控件，对字段的类型进行限定。

3、新旧数据源输入时，需要将数据源按照同样的规则进行排序。这一点在大表同步时非常重要，可能在同步小数据量的表时，没有影响，在大表同步时，若没有加上排序，会导致同步的结果异常。