Azure 架构师学习笔记-Azure Data Factory -触发器

Posted 2023-03-04 發糞塗牆

本文属于【Azure 架构师学习笔记】系列。
本文属于【Azure Data Factory】系列。
接上文【Azure 架构师学习笔记】-Azure Data Factory (1)-调度入门

前言

上文介绍了ADF 的调度，在调度演示中，还有几个小按钮可以深究，如下图，有【调试】， 【添加触发器】等：

【添加触发器】/立即触发：马上执行pipeline，但是仅这次。触发结果如下图：

查看结果：

调试：跟立即触发有一点小区别，主要在于日志的收集。当调试时，可以看到pipeline的细节输出到下方界面。但是使用立即触发时，日志需要去监控页查看。调试结果如下图：

【添加触发器】/新建/编辑：这是配置pipeline的调度。参考上文：【Azure 架构师学习笔记】-Azure Logic Apps（6）- Logic Apps调用ADF， 在配置过程中，会出现几种调度类型：
计划（Schedule）：设置基于事件和频率的触发器。就是上文提到的默认配置。
翻转窗口（Tumbling Window）
存储事件和自定义事件（Event）：基于事件触发的配置。这些事件都是基于blog storage的。比如特定container上blob的创建和删除。

翻转窗口：在特定的时间切片中或者预设的时间间隔中触发。与计划执行相比，更适合用于历史数据的复制和迁移。比如每小时或每天，从数据库中复制数据到ADLS并且以独立的文件、文件夹存储。 这个时候可以用翻转窗口并设置每小时，每24小时触发， 触发器会发送每次窗口的开始和结束时间到数据库，返回所有满足需要的数据，最后放到对应的文件夹/文件中。

存储事件：

自定义事件：

小结

本文重点介绍触发器的类型和调试，立即触发的区别， 但是细分到每个计划，又需要更加专门的篇幅来介绍，为了控制篇幅就不在一篇文章中全部展示。下一文会重点介绍具体的触发器计划类型。