数据流无法从源 .csv azure 捕获行更改

Posted 2023-03-31

【中文标题】数据流无法从源 .csv azure 捕获行更改

【英文标题】：Data flow not able to capture the row changes from the source .csv azure

【发布时间】：2021-09-18 03:16:38

【问题描述】：

我的想法是使用 upsert 将 csv 文件作为源和突触表作为接收器。 每当我在数据流源预览中更改 csv 文件的行时，它都会显示旧数据。

这是我的源代码预览

这是我的源文件，我将最后一个指标更改为 FALSE 并将其上传到 blob。

我再次运行源静态指示器的预览是对旧数据的引用

我的来源设置

数据集设置 -

【参考方案1】：

如果您在同一连续数据流调试会话中更改源数据，则源数据将缓存在 Spark 数据帧中。您将需要使缓存无效。您可以通过更改源转换的名称来做到这一点。这将迫使 ADF 重新读取源数据。在数据预览中点击“刷新”之前，将名称“source1”更改为“source”。

【讨论】：

嗨，马克作为自动化的一部分，我的源文件每 10 分钟更改一次，我是否需要始终更改源名称。我只是在源代码中更改相同的automation.csv。如果我每 30 分钟触发一次该流程怎么办？

您看到的缓存仅在活动调试会话期间的数据预览中。当您从管道执行此操作时，数据将是动态的，因此不需要执行此技巧来使缓存无效。

来自管道的您好 Mark Exe，即您正在重新触发管道，那么此问题将不会持续存在。我在一个功能分支中工作，所以我只能进行调试。我尝试将数据流放入管道并执行它，但问题仍然存在。