使用流分析读取时,事件中心输入大小数据的输出大小是输出大小的三倍
Posted
技术标签:
【中文标题】使用流分析读取时,事件中心输入大小数据的输出大小是输出大小的三倍【英文标题】:Event hub input size data is three time more in output size when reading using stream analytics 【发布时间】:2017-06-21 12:56:40 【问题描述】:当我在事件中心摄取 100 KB 数据文件时,当我使用流式分析从事件中心读取数据时,输出文件大小是输入文件的三倍。
请确认
【问题讨论】:
输出和输入大小不匹配,我正在将数据写入 Azure 数据湖 大家好,任何人都面临这个问题 在配置事件中心输入和 Data Lake Store 输出时,您是如何配置Event Serialization Format
(JSON、CSV 或 Avro)和 Format
属性的?以及为您生成输出数据的查询是什么。
嗨,我正在使用输入 csv 和输出 csv
您能否检查输出是否包含影响大小的其他系统字段?
【参考方案1】:
我遇到了同样的问题,正如正在调查的那样,输入计数(按字节和大小)乘以分区因子。 分区已创建并映射为输入(我们只有 2 个输入),但是当您看到作业图时 - 单击 ... 并选择展开分区。 根据所附图片,我们的 IoT 中心输入扩展到 20 个分区。
【讨论】:
以上是关于使用流分析读取时,事件中心输入大小数据的输出大小是输出大小的三倍的主要内容,如果未能解决你的问题,请参考以下文章