如何有效地将压缩的 json 数据推送到 azure 事件中心并在 azure 流分析中处理？

Posted 2023-05-08

【中文标题】如何有效地将压缩的 json 数据推送到 azure 事件中心并在 azure 流分析中处理？

【英文标题】：How to efficiently push compressed json data into azure event hub and proccess in azure stream analytics?

【发布时间】：2017-11-10 09:03:30

【问题描述】：

我们有一个后端应用程序，它必须将遥测数据发送到事件中心。所有数据都必须序列化为 JSON 并压缩。

我们是否应该将所有序列化对象收集到一个以换行符分隔的 JSON 中，还是最好为每个对象使用一个 EventData 包装器并将其作为批处理发送？使用换行符分隔的 json 压缩可能会更好。但是 ASA 能够处理它吗？

【参考方案1】：

Asa 支持 gzip 和 deflate 压缩。每条 eventthub 消息最多可达 256 kb，包括元数据。在处理方面，每条消息都有一些开销。因此，对于相同数量的记录，更少的 eventthub 消息更好。但是，这通常意味着在发送端有一些缓冲。根据您对发送方的总体延迟要求和内存占用要求，您应该将多条记录批处理到每个 eventthub 消息中，并进行压缩。

【讨论】：

asa 是否支持换行分隔的 JSON？

是的，确实如此。换行符分隔的常规对象数组