需要使用 Azure 流分析和 IoT Hub 将数据存储到 Azure Data Lake Store:数据必须按 4MB 缓冲区存储
Posted
技术标签:
【中文标题】需要使用 Azure 流分析和 IoT Hub 将数据存储到 Azure Data Lake Store:数据必须按 4MB 缓冲区存储【英文标题】:Need to Store data into Azure Data lake Store using Azure Stream Analytics and IoT Hub: Data must be stored by 4MB buffer 【发布时间】:2018-04-09 15:14:05 【问题描述】:我需要使用 Azure 流分析和 IoT 中心将数据存储到 Aure Data Lake Store。我在 Azure 流分析中配置了输入和输出,并编写了查询:
SELECT * INTO [output-ADLS] FROM [inputForIotHub]
它工作正常,可以在我的数据湖存储中获取我的数据。但是,现在我需要我的流数据必须由 4MB 缓冲区存储 以解决性能问题:每次有 4MB 作为输入数据时,我都会将流数据存储到 [output-ADLS] 中。
有什么帮助吗?
提前谢谢你
【问题讨论】:
【参考方案1】:ASA 将尝试将最多 4MB 的事件一起批处理,以尽量减少事务数量。但是,如果传入事件的频率较低,ASA 将保留较小的批次以确保较低的延迟。 现在无法手动调整它,但我们可以考虑将其添加到路线图中。
【讨论】:
以上是关于需要使用 Azure 流分析和 IoT Hub 将数据存储到 Azure Data Lake Store:数据必须按 4MB 缓冲区存储的主要内容,如果未能解决你的问题,请参考以下文章
如何从单个 JSON(IOT HUB)将流分析输出转换为多行