Azure 流分析作业降级,没有运行时错误

Posted

技术标签:

【中文标题】Azure 流分析作业降级,没有运行时错误【英文标题】:Azure Stream Analytics job degraded with no runtime errors 【发布时间】:2020-04-07 08:24:31 【问题描述】:

问题:

突然间将流分析作业标记为“降级”。没有运行时错误,没有服务健康警告,根本没有警报。 到目前为止它运行良好。现在,零输出事件和“降级”警告没有任何原因。

详情:

输入:IotHub(序列化格式:JSON) 输出:SQL Server 数据库 使用带有 TumblingWindow 的 SQL 查询(60 分钟)来聚合来自传感器的数据(目前工作正常;没有错误或警告;表方案未更改) 资源运行状况:始终“可用” 在同一消费者组中没有其他工作

编辑:

这是我们在 ASA 作业中使用的 SQL:

WITH multisensordata AS
(
SELECT 
  multidata.ArrayValue AS singledata,
  GetMetadataPropertyValue(event, 'IoTHub.ConnectionDeviceId') AS device
FROM
  [iothub] as event
CROSS APPLY GetArrayElements(event.message.mm) AS multidata
)
SELECT
  CAST(DATEDIFF(MILLISECOND,'1970-01-01', System.Timestamp()) AS bigint) AS aggregationTimestamp,
  multisensordata.device AS device_id,
  singlesensordata.ArrayValue.dk AS data_key,
  AVG(singlesensordata.ArrayValue.v) AS avg_value,
  PERCENTILE_CONT(0.50) OVER (ORDER BY singlesensordata.ArrayValue.v) AS median_value,
  uda.NSAMPLE(singlesensordata.ArrayValue.v) AS nValue
INTO
  [sql-database]
FROM
  multisensordata
CROSS APPLY GetArrayElements(singledata.sm) AS singlesensordata
GROUP BY multisensordata.device, singlesensordata.ArrayValue.dk, TumblingWindow(minute, 60)

解决方案:

原来 ASA 有一个重大错误:我使用的 UDA 有时会收到空值。这是“降级”状态和无输出操作的原因。 Azure 已修复此问题。由于 Covid-19 问题,尚未将修复程序部署到所有区域。

【问题讨论】:

这些信息很难帮助您。我们对您的实际 sql 查询、数据格式、诊断日志等一无所知...否则,如果您确保一切正确,您可以向 ASA 团队提交反馈以寻求更有效的官方帮助。 反馈已提交。我希望有人遇到过类似的问题并提出一些巧妙的建议。 您是否为流分析作业启用了诊断日志?如果没有,启用该功能并使用 Log Analytics 可以轻松解析最新日志,以找出您的工作可能遇到的任何问题。链接:docs.microsoft.com/en-us/azure/stream-analytics/… 嘿@MacKarczewski,如果这个问题的答案在 cmets 上,你能把它贴出来让其他人学习吗?谢谢! 我用解决方案/解释编辑了我的问题。 【参考方案1】:

原来 ASA 有一个重大错误:我使用的 UDA 有时会收到空值。这是“降级”状态和无输出操作的原因。 Azure 已修复此问题。由于 Covid-19 问题,尚未将修复程序部署到所有区域。

【讨论】:

以上是关于Azure 流分析作业降级,没有运行时错误的主要内容,如果未能解决你的问题,请参考以下文章

错误代码:从 Azure 流分析作业中采样数据时出现 BadArgument 错误消息

使用适用于 .NET 的 Azure 流分析 API 设置和运行分析作业

Terraform Azure 流分析作业 - 开始/停止

Azure 事件中心脱机

Azure 流分析 - 使用参考数据时没有输入事件

使用 PowerBi 的 Azure 流分析失败