使用流分析读取时,事件中心输入大小数据的输出大小是输出大小的三倍

Posted

技术标签:

【中文标题】使用流分析读取时,事件中心输入大小数据的输出大小是输出大小的三倍【英文标题】:Event hub input size data is three time more in output size when reading using stream analytics 【发布时间】:2017-06-21 12:56:40 【问题描述】:

当我在事件中心摄取 100 KB 数据文件时,当我使用流式分析从事件中心读取数据时,输出文件大小是输入文件的三倍。

请确认

【问题讨论】:

输出和输入大小不匹配,我正在将数据写入 Azure 数据湖 大家好,任何人都面临这个问题 在配置事件中心输入和 Data Lake Store 输出时,您是如何配置 Event Serialization Format(JSON、CSV 或 Avro)和 Format 属性的?以及为您生成输出数据的查询是什么。 嗨,我正在使用输入 csv 和输出 csv 您能否检查输出是否包含影响大小的其他系统字段? 【参考方案1】:

我遇到了同样的问题,正如正在调查的那样,输入计数(按字节和大小)乘以分区因子。 分区已创建并映射为输入(我们只有 2 个输入),但是当您看到作业图时 - 单击 ... 并选择展开分区。 根据所附图片,我们的 IoT 中心输入扩展到 20 个分区。

【讨论】:

以上是关于使用流分析读取时,事件中心输入大小数据的输出大小是输出大小的三倍的主要内容,如果未能解决你的问题,请参考以下文章

具有事件中心输入流位置的 Azure 流分析

Azure 流分析获取前一个输出行以加入输入

流分析聚合窗口

天蓝色流分析是不是读取来自所有分区的数据

流分析输入上的参考数据连接不提供输出

流分析 - 没有这样的主机是已知的