大量设备数据的流式分析小规则

Posted 2023-05-08

【中文标题】大量设备数据的流式分析小规则

【英文标题】：Stream analytics small rules on high amount of device data

【发布时间】：2017-02-09 11:06:37

【问题描述】：

我们有以下情况。

我们有多个设备向事件中心发送数据（间隔为 一秒钟） 我们有很多用于警报的小流分析规则 检查。这些规则适用于一小部分设备。

例子：

10000 台设备每秒发送数据。 大约 10 台设备的规则。

我们的问题： 每个流分析查询都会处理所有输入数据，尽管作业只需要处理一小部分数据。每个查询都会过滤设备 id 并过滤掉最多的数据。因此，我们需要大量的流媒体单元，这会导致高昂的流分析成本。

我们的第一个想法是为每个查询创建一个事件中心。但是，这里的问题是每个事件中心至少有一个吞吐量单元，这也导致了高成本。

在我们的案例中，最好的解决方案是什么？

【问题讨论】：

不同 ASA 作业处理的设备子集是否相同？规则是什么样的？根据这些答案，您可能希望查看 WebJobs/Azure Functions 或 Azure ML/Javscript 函数，而不是直接 ASA 查询。

是，相同的设备子集由多个 ASA 作业处理。规则不同，不能加入。 Azure Functions 将是一个不错的选择，但如果我使用 Azure Functions，我必须实现自制的窗口概念。

【参考方案1】：

一种可能的解决方案是使用 IoT 中心并为您要监控的设备创建具有特定路由的不同端点。 看看这篇博文，看看这是否适用于您的特定场景：https://azure.microsoft.com/en-us/blog/azure-iot-hub-message-routing-enhances-device-telemetry-and-optimizes-iot-infrastructure-resources/ 然后在 Azure 流分析中，你可以使用这个特定的 Endpoint 作为输入。 谢谢， JS（Azure 流分析团队）

【讨论】：

问题是最大附加路由规则是10。

很遗憾不可能。 IoT 中心仅支持 100 条路由规则。见：docs.microsoft.com/en-us/azure/iot-hub/…