如何使用 Azure 流分析强制一个空的输出文件
Posted
技术标签:
【中文标题】如何使用 Azure 流分析强制一个空的输出文件【英文标题】:How to force an empty output file with Azure Stream Analytics 【发布时间】:2018-03-26 07:46:25 【问题描述】:我已配置流分析作业,以便输入数据每小时发送到 Azure Data Lake 存储库。
有时没有要跟踪的事件,所以没有输出。但是我的数据工厂出错了,因为该文件不存在。
我想知道是否存在强制从流分析中取出空文件的方法?
非常感谢!
【问题讨论】:
【参考方案1】:您可以查看我们的common query patterns here。特别是我认为您可以使用名为“填充缺失值”的方法定期生成一些事件,即使没有输入也是如此。 让我知道它是否适合您。
谢谢!
JS
【讨论】:
【参考方案2】:您使用的是 ADF v2 吗?
我没有在 ADF 中找到任何内置功能来提供它。 但我可以看到一些解决方法 - 从最简单的开始:
-
在您的 ASA 查询中,您可以使用 WITH 语句并将您的输入与虚假的空消息联合起来。 - 那么总会有输出
作为 ASA 作业中的第二个输出,您可以在生成文件时将其存储在一些数据库信息中。然后在 ADF 中,您可以检查何时有文件并有条件地运行复制。
在 ADF 中运行 Web 活动,例如LogicApp/FunctionApp 在容器中存在文件时获取信息。
【讨论】:
我正在使用 ADF v1。 我不确定第三种解决方案是否适合您。【参考方案3】:找到解决办法……
我有一个使用数据湖分析的活动,我所做的是运行 U-SQL,而不是读取没有转换的数据并将其写入带有标题的输出。
这样活动总是会写入一个输出文件!
非常简单!
【讨论】:
以上是关于如何使用 Azure 流分析强制一个空的输出文件的主要内容,如果未能解决你的问题,请参考以下文章
如何使用 Azure 流分析将本地 SQL Server 用作输出?
如何使用 azure 流分析根据输出/blob 存储中的数据仅插入不同的行?
如何使用 azure 流分析将 cosmos db 中的值更新为输出?