大量设备数据的流式分析小规则

Posted

技术标签:

【中文标题】大量设备数据的流式分析小规则【英文标题】:Stream analytics small rules on high amount of device data 【发布时间】:2017-02-09 11:06:37 【问题描述】:

我们有以下情况。

我们有多个设备向事件中心发送数据(间隔为 一秒钟) 我们有很多用于警报的小流分析规则 检查。这些规则适用于一小部分设备。

例子:

10000 台设备每秒发送数据。 大约 10 台设备的规则。

我们的问题: 每个流分析查询都会处理所有输入数据,尽管作业只需要处理一小部分数据。每个查询都会过滤设备 id 并过滤掉最多的数据。因此,我们需要大量的流媒体单元,这会导致高昂的流分析成本。

我们的第一个想法是为每个查询创建一个事件中心。但是,这里的问题是每个事件中心至少有一个吞吐量单元,这也导致了高成本。

在我们的案例中,最好的解决方案是什么?

【问题讨论】:

不同 ASA 作业处理的设备子集是否相同?规则是什么样的?根据这些答案,您可能希望查看 WebJobs/Azure Functions 或 Azure ML/Javscript 函数,而不是直接 ASA 查询。 是,相同的设备子集由多个 ASA 作业处理。规则不同,不能加入。 Azure Functions 将是一个不错的选择,但如果我使用 Azure Functions,我必须实现自制的窗口概念。 【参考方案1】:

一种可能的解决方案是使用 IoT 中心并为您要监控的设备创建具有特定路由的不同端点。 看看这篇博文,看看这是否适用于您的特定场景:https://azure.microsoft.com/en-us/blog/azure-iot-hub-message-routing-enhances-device-telemetry-and-optimizes-iot-infrastructure-resources/ 然后在 Azure 流分析中,你可以使用这个特定的 Endpoint 作为输入。 谢谢, JS(Azure 流分析团队)

【讨论】:

问题是最大附加路由规则是10。 很遗憾不可能。 IoT 中心仅支持 100 条路由规则。见:docs.microsoft.com/en-us/azure/iot-hub/…

以上是关于大量设备数据的流式分析小规则的主要内容,如果未能解决你的问题,请参考以下文章

实时数据流式分析改变商业游戏规则

实时数据流式分析改变商业游戏规则

R语言实现流式细胞数据分析

[第8期] 流式计算之 Storm 爱用者初尝 Flink

三分钟了解实时流式大数据分析

机器学习,流式IoT和医疗设备互联