etl接口测试总结

Posted 2020-06-08

刚做完一个项目接触到了etl接口，趁还热乎做个总结。

etl接口功能测试点总结：
1、数据量的检查：目标表与源表数据量是否一致
2、字段正确性：拉取源表字段是否为目标表所需要字段（会出现拉错字段情况）
3、字段值转换正确性：如日期或数值字段拉取到目标表后是否需要做转换，如需要做转换，那转换是否正确，且是否符合目标表的业务逻辑。（如日期，源表为：2016-
01-01，而拉取到目标表后为：2016-01-01 00：00：00，如该字段在后期需要比较的话，就要考虑2016-01-01 00：00：00是否在当天内。）
4、字段值域有效性检查：源表字段值为最大值，拉取到目标表后是否为全值
5、字段空值：源该字段值为空，拉取到目标表是否为空（如目标表该字段不能为空，那么该字段为空的记录行就无法进入目标表，是否符合业务逻辑需求）
6、检查是否有乱码：
7、全量更新：检查源表中有新增、修改、删除的记录，重复拉取后，目标表是否与最后一次源表数据一致。
8、增量更新：检查源表有新增数据时，重复拉取后，目标表是否只拉取源表中新增的记录
9、检查是否拉取指定日期内的数据：检查源表中存在指定日期以外的数据，是否没有被拉取到目标表。

 

etl性能方面：主要测试数据量，在源表准备数据，测试拉取大数据量的时间及监控数据库服务器性能指标。