Azure 流分析作业在作业开始时触发误报缺失资产

Posted

技术标签:

【中文标题】Azure 流分析作业在作业开始时触发误报缺失资产【英文标题】:Azure Stream Analytics job triggers False Positives missing assets on job start 【发布时间】:2017-11-07 10:39:57 【问题描述】:

在开始我的 Azure 流分析 (ASA) 工作时,我得到了几个误报 (FP),我想知道是什么原因造成的。

我正在尝试在另一个 question 中讨论的 ASA 中实施资产跟踪。我的具体用例是我想在资产在过去 70 分钟内未发送信号时触发事件。这在 ASA 作业正在运行但在启动作业时触发误报时工作正常。

例如,在 2017-11-07T09:30:00Z 开始 ASA 作业时。 ASA 作业为名称“A”提供了一个带有 MostRecentSignalInWindow: 1510042968 (=2017-11-07T08:22:48Z) 的条目。虽然我确信在 eventthub 中还有另一个名称为“A”的事件:“2017-11-07T08:52:49Z”和一个在“2017-11-07T09:22:49Z”的事件。

由于活动排序政策,一些活动迟到:

迟到:5 秒 无序:5 秒 动作:调整

我使用以下查询:

WITH
Missing AS (
SELECT
    PreviousSignal.name,
    PreviousSignal.time,
FROM
    [signal-eventhub] PreviousSignal
TIMESTAMP BY
    time
LEFT OUTER JOIN
    [signal-eventhub] CurrentSignal 
TIMESTAMP BY
    time
ON
    PreviousSignal.name= CurrentSignal.certname
AND
    DATEDIFF(second, PreviousSignal, CurrentSignal) BETWEEN 1 AND 4200
WHERE CurrentSignal.name IS NULL
),

EventsInWindow AS (
SELECT
    name,
    max(DATEDIFF(second, '1970-01-01 00:00:00Z', time)) MostRecentSignalInWindow
FROM
    Missing
GROUP BY
    name,
    TumblingWindow(minute, 1)
)

【问题讨论】:

嗨。如果时间戳可能会因时间策略而调整,则可能会有一些。如果您在门户的指标部分看到任何丢弃/调整的事件,能否告诉我? 【参考方案1】:

对于阅读本文的任何人,这是 Azure 流分析中已确认的错误,现已解决。

【讨论】:

以上是关于Azure 流分析作业在作业开始时触发误报缺失资产的主要内容,如果未能解决你的问题,请参考以下文章

Terraform Azure 流分析作业 - 开始/停止

Azure 流分析作业无限运行

使用 Azure Function 作为流分析的输出:连接测试失败

Azure 流分析作业在使用静态引用数据时不生成输出

Azure 流分析作业降级,没有运行时错误

重新启动 Azure 流分析作业而不丢失数据