同步还是异步？ETL架构的选择，为何关系到数据处理速度和系统性能

Posted 2023-03-29 陈书予

🏅 欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！

ETL（Extract, Transform,Load）是数据仓库构建中必不可少的步骤，它是将数据从来源系统中提取出来，经过一系列的清洗，转换成适合目标数据仓库的格式，最后加载入目标系统中的过程。在ETL 架构中，数据的传输方式分为同步和异步两种方式。在本文中，我们将会对同步和异步 ETL 架构进行详细比较。

同步 ETL 架构

同步 ETL 架构是在一个大的数据集中进行处理，通常使用类 SQL 语言来处理数据的提取、清洗、转换和加载。同步 ETL 架构可以在数据到达目标系统之前对其进行转换，并将数据与目标系统同步，这意味着数据可以在短时间内变得可用和访问，但也很可能会导致一些问题。

一般而言，同步 ETL 架构需要进行以下步骤：

• 从源系统中提取数据并转换为目标系统的格式。
• 对目标系统应该接收到的数据进行验证和过滤。
• 对目标系统进行修改以适应数据的要求。
• 最后将数据加载到目标系统中。

优点：

• 数据能够在最短时间内变得可用和访问。
• 可以定期更新数据，确保数据是最新的。

缺点：

• 由于数据要在短时间内被处理，所以同步 ETL 架构需要占用大量的计算资源。
• 如果目标系统的压力过大，则同步 ETL 架构可能会导致性能下降。

异步 ETL 架构

异步 ETL 架构通常比同步 ETL 架构更加灵活，因为它可以将数据存储在中间层中，而不是直接加载到目标系统中。这意味着可以在更少的时间内进行数据处理，并在后续时间段内将数据加载到目标系统中。

一般而言，异步 ETL 架构需要进行以下步骤：

• 从源系统中提取数据。
• 对数据进行清洗和转换，以便它可以在中间层中被接受。
• 将数据存储在中间层中。
• 在后续时间将数据加载到目标系统中。

优点：

• 异步 ETL 架构可以在较小的时间间隔内进行处理，通过中间层可以轻松处理更多的数据。
• 如果目标系统的压力过大，那么异步 ETL 架构可以减轻系统负担，不会影响系统性能。

缺点：

由于没有立即将处理过的数据加载到目标系统中，所以数据的可访问性会有所降低。
在发送数据之前，中间层必须进行数据处理，这可能会占用更多的存储空间。

比较

同步和异步 ETL 架构有各自的优点和缺点，具体应该根据项目实际情况进行选择。下面是同步和异步 ETL 架构的比较：

• 处理时间：同步 ETL 架构需要占用大量的计算资源，需要较长的时间进行处理，而异步 ETL 架构可以在较小的时间间隔内进行处理。
• 数据可访问性：同步 ETL 架构能够快速地将数据加载到目标系统中，使其可访问性更快，而异步 ETL 架构需要在推迟后的时间段内处理数据。
• 系统性能：如果目标系统的压力过大，同步 ETL 架构会降低系统的性能，而异步 ETL 架构能够减轻系统的负担，不会影响系统性能。
• 存储空间：异步 ETL 架构需要将处理过的数据存储在中间层中，这可能会占用更多的存储空间。 总结

总之，在同步 ETL 架构和异步 ETL
架构之间做出选择时，应该根据项目实际情况来选择最适合的方法。如果数据需要在短时间内进行处理，并且目标系统有足够的资源来处理数据，请使用同步
ETL 架构。如果数据量较大，目标系统的压力较大，并且处理时间较少，建议使用异步 ETL 架构。