大量设备数据的流式分析小规则
Posted
技术标签:
【中文标题】大量设备数据的流式分析小规则【英文标题】:Stream analytics small rules on high amount of device data 【发布时间】:2017-02-09 11:06:37 【问题描述】:我们有以下情况。
我们有多个设备向事件中心发送数据(间隔为 一秒钟) 我们有很多用于警报的小流分析规则 检查。这些规则适用于一小部分设备。例子:
10000 台设备每秒发送数据。 大约 10 台设备的规则。我们的问题: 每个流分析查询都会处理所有输入数据,尽管作业只需要处理一小部分数据。每个查询都会过滤设备 id 并过滤掉最多的数据。因此,我们需要大量的流媒体单元,这会导致高昂的流分析成本。
我们的第一个想法是为每个查询创建一个事件中心。但是,这里的问题是每个事件中心至少有一个吞吐量单元,这也导致了高成本。
在我们的案例中,最好的解决方案是什么?
【问题讨论】:
不同 ASA 作业处理的设备子集是否相同?规则是什么样的?根据这些答案,您可能希望查看 WebJobs/Azure Functions 或 Azure ML/Javscript 函数,而不是直接 ASA 查询。 是,相同的设备子集由多个 ASA 作业处理。规则不同,不能加入。 Azure Functions 将是一个不错的选择,但如果我使用 Azure Functions,我必须实现自制的窗口概念。 【参考方案1】:一种可能的解决方案是使用 IoT 中心并为您要监控的设备创建具有特定路由的不同端点。 看看这篇博文,看看这是否适用于您的特定场景:https://azure.microsoft.com/en-us/blog/azure-iot-hub-message-routing-enhances-device-telemetry-and-optimizes-iot-infrastructure-resources/ 然后在 Azure 流分析中,你可以使用这个特定的 Endpoint 作为输入。 谢谢, JS(Azure 流分析团队)
【讨论】:
问题是最大附加路由规则是10。 很遗憾不可能。 IoT 中心仅支持 100 条路由规则。见:docs.microsoft.com/en-us/azure/iot-hub/…以上是关于大量设备数据的流式分析小规则的主要内容,如果未能解决你的问题,请参考以下文章