需要使用 Azure 流分析和 IoT Hub 将数据存储到 Azure Data Lake Store:数据必须按 4MB 缓冲区存储

Posted

技术标签:

【中文标题】需要使用 Azure 流分析和 IoT Hub 将数据存储到 Azure Data Lake Store:数据必须按 4MB 缓冲区存储【英文标题】:Need to Store data into Azure Data lake Store using Azure Stream Analytics and IoT Hub: Data must be stored by 4MB buffer 【发布时间】:2018-04-09 15:14:05 【问题描述】:

我需要使用 Azure 流分析和 IoT 中心将数据存储到 Aure Data Lake Store。我在 Azure 流分析中配置了输入和输出,并编写了查询:

SELECT * INTO [output-ADLS] FROM [inputForIotHub]

它工作正常,可以在我的数据湖存储中获取我的数据。但是,现在我需要我的流数据必须由 4MB 缓冲区存储 以解决性能问题:每次有 4MB 作为输入数据时,我都会将流数据存储到 [output-ADLS] 中。

有什么帮助吗?

提前谢谢你

【问题讨论】:

【参考方案1】:

ASA 将尝试将最多 4MB 的事件一起批处理,以尽量减少事务数量。但是,如果传入事件的频率较低,ASA 将保留较小的批次以确保较低的延迟。 现在无法手动调整它,但我们可以考虑将其添加到路线图中。

【讨论】:

以上是关于需要使用 Azure 流分析和 IoT Hub 将数据存储到 Azure Data Lake Store:数据必须按 4MB 缓冲区存储的主要内容,如果未能解决你的问题,请参考以下文章

使用 Azure 流分析进行简单的数据传递

如何从单个 JSON(IOT HUB)将流分析输出转换为多行

Azure IoT 技术研究系列2-设备注册到Azure IoT Hub

为 IoT Edge 部署 Azure 流分析作业

Azure iot hub 设备到云分区的用途

Azure IoT 技术研究系列5-Azure IoT Hub与Event Hub比较