具有事件中心输入流位置的 Azure 流分析

Posted 2023-05-08

【中文标题】具有事件中心输入流位置的 Azure 流分析

【英文标题】：Azure streaming analytics with event hub input stream position

【发布时间】：2020-06-16 10:56:53

【问题描述】：

设置

我使用 Azure 流分析将数据流式传输到 Azure 仓库临时表。 作业的输入源是 EventHub 流。 我注意到当我更新作业时，作业输入事件积压在开始后大量增加。 看起来作业从头开始再次处理完整的 EventHub 队列。

问题

在流​​分析中如何组织流位置管理 是否可以定义作业开始的流位置（例如，在特定时间点之后排队后的事件）

到此为止

我注意到一个类似的问题here on ***。 提到了一个变量名称“eventStartTime”。 但由于我在 Visual Studio 中使用“asaproj”项目来创建、更新和部署作业，因此在部署之前我不知道将其放置在哪里。

【参考方案1】：

对于不停止的更新作业，它会使用之前的“Joboutputstarttime”设置，因此作业开始时可以从头开始处理数据。

您可以先停止作业，然后在开始作业之前选择“Joboutputstarttime”。

您可以参考此文档https://docs.microsoft.com/en-us/azure/stream-analytics/start-job 以查看每种模式的详细信息。对于您的方案，“上次停止时”模式可能是您需要的模式，它不会从 eventthub 队列的开头处理数据。