SSIS ETL过程设计建议

Posted 2021-05-04

我是使用SSIS的新手，并希望得到一些设计ETL过程的建议。

我提供了整个项目的图形。简而言之，我从单个Blob中获取Excel文件，将它们转换为适合通用模板格式，然后将它们加载到SQL Server数据库中。我正在寻求帮助，只需要控制流程（ETL过程）应该是什么样子。在我过去的尝试中，我有一个过程，我将文件下载到我的本地驱动器，但这不太理想。

理想情况下，我希望永远不要将文件下载到我的本地驱动器上，而是通过Azure完成整个过程。任何帮助，将不胜感激。谢谢！

项目范围：

答案

答案取决于接口 - 您使用什么接口来获取这些文件并使用SQL Server处理它们？

这是一个重要的问题，因为如果您使用网络服务或网络上的文件共享来访问这些项目，那么首先在SQL服务器中获取文件（例如使用C＃CLR）然后处理可能更有意义/ parse /无论你需要做什么，然后将它们插入到SQL目标上的相应blob字段中。这是一个数据接口吗？两个端点都使用Microsoft SQL OLE DB驱动程序吗？

要传输文件，您需要在SSIS包中设置源和目标;需要为每个端点配置源和目标，要设置它们，只需右键单击“连接管理器”窗格并添加两个数据端点即可。

然后，您将需要设置数据流任务。在流程任务中，您将添加一个引用您在连接管理器中设置的连接之一的源。对于每个供应商blob，您可能需要设置单独的数据流任务，具体取决于数据是否一致，以及每个供应商是否使用相同的DB连接器（换句话说，这是相同的接口）每个供应商还是不是）

将数据从源代码映射到目的地 - 这里我想你将从源代码中绘制一条线（可以使用变量进行动态处理，并使用OLE DB自定义查询来按摩数据）

您将从源到目的地连接点并保留所需的项目。请注意，您必须遵循目标表规则 - 例如，您可能需要保留外键，或者您可能不需要，因此您需要确保移动的数据符合目标数据模型。 SSDT非常有效地帮助您绘制地图，尝试以上项目并告诉我您是否遇到问题！