如何使用 Azure 流分析强制一个空的输出文件

Posted

技术标签:

【中文标题】如何使用 Azure 流分析强制一个空的输出文件【英文标题】:How to force an empty output file with Azure Stream Analytics 【发布时间】:2018-03-26 07:46:25 【问题描述】:

我已配置流分析作业,以便输入数据每小时发送到 Azure Data Lake 存储库。

有时没有要跟踪的事件,所以没有输出。但是我的数据工厂出错了,因为该文件不存在。

我想知道是否存在强制从流分析中取出空文件的方法?

非常感谢!

【问题讨论】:

【参考方案1】:

您可以查看我们的common query patterns here。特别是我认为您可以使用名为“填充缺失值”的方法定期生成一些事件,即使没有输入也是如此。 让我知道它是否适合您。

谢谢!

JS

【讨论】:

【参考方案2】:

您使用的是 ADF v2 吗?

我没有在 ADF 中找到任何内置功能来提供它。 但我可以看到一些解决方法 - 从最简单的开始:

    在您的 ASA 查询中,您可以使用 WITH 语句并将您的输入与虚假的空消息联合起来。 - 那么总会有输出 作为 ASA 作业中的第二个输出,您可以在生成文件时将其存储在一些数据库信息中。然后在 ADF 中,您可以检查何时有文件并有条件地运行复制。 在 ADF 中运行 Web 活动,例如LogicApp/FunctionApp 在容器中存在文件时获取信息。

【讨论】:

我正在使用 ADF v1。 我不确定第三种解决方案是否适合您。【参考方案3】:

找到解决办法……

我有一个使用数据湖分析的活动,我所做的是运行 U-SQL,而不是读取没有转换的数据并将其写入带有标题的输出。

这样活动总是会写入一个输出文件!

非常简单!

【讨论】:

以上是关于如何使用 Azure 流分析强制一个空的输出文件的主要内容,如果未能解决你的问题,请参考以下文章

无法使用输出 Azure 函数获得流分析工作

如何使用 Azure 流分析将本地 SQL Server 用作输出?

如何使用 azure 流分析根据输出/blob 存储中的数据仅插入不同的行?

如何使用 azure 流分析将 cosmos db 中的值更新为输出?

使用 Azure Function 作为流分析的输出:连接测试失败

如何使用流分析更新数据 Azure SQL 数据库?