SSIS Design5：使用暂存

Posted 2020-07-11 悦光阴

以数据流的方式来设计Package，将核心数据处理移动到数据流中，一般情况下，能够减少临时表的创建，获得较高的处理性能，在某些情况下，使用暂存表（staging table）能够优化package设计。

 

1，使用基于集合的更新操作

在大型系统中，数据更新通常是系统的bottleneck，因为SSIS不能在Data Flow 中执行基于集合的更新。在Data Flow中，OLEDB Command 转换组件是逐行对数据进行更新的，对每一行数据执行更新操作，会导致低下的性能。对于存在大量更新的数据流，能够有效解决数据更新问题的解决方案是：将需要更新的数据缓存到一个暂存表（staging table），使用TSQL 语句和暂存表对目标数据进行基于集合的更新操作。

2，使用CheckPoint从错误点重启Package

　　SSIS的CheckPoint记录的Control Flow Task的执行结果，如果Data Flow Task中的转换发生失败，那么CheckPoint 不会保留数据状态。当重启包时，数据流将会从头开始。如果将数据存到暂存表中，那么可以从暂存数据中重新启动。做法是：从源中读取数据，将其加载到暂存表中，然后从暂存表中获取数据，并对其应用转换逻辑。

3，增加Disk IO

将数据暂存到表中，会成倍增加Disk IO，当使用暂存表临时存储数据时，该数据最终被保存到Disk中，并且需要将数据从Disk读取数据到内存。因为需要移动大量的数据，磁盘IO通常是ETL的bottleneck，所以，在不需要大量更新数据的ETL中，应该减少对暂存表的需求，使用数据流完成相同的转换操作，由于数据流主要使用内存，相比disk，内存能够更快地访问，这样，不仅能够减少Disk IO的开销，而且能够减少ETL处理的时间。