Nifi:NIFI 中的 Json 到 CSV 转换器

Posted

技术标签:

【中文标题】Nifi:NIFI 中的 Json 到 CSV 转换器【英文标题】:Nifi : Json to CSv converter in NIFI 【发布时间】:2020-07-31 22:18:35 【问题描述】:

我是 NIFI 的新手,这是我的第一个任务。我正在尝试将 JSON 转换为 CSV,但没有生成任何 CSV 文件。附上我遵循的方法。请让我知道我在哪里缺少逻辑。 我的示例 Json : "creation_Date": "2018-08-19", "Hour_of_day": 7, "log_count": 2136

【问题讨论】:

【参考方案1】:

您使用了正确的处理器,您的架构定义是错误的。

convertrecord proc 应该有一个 JsonTreeReader(带有 Schema Access Strategy : Infer Schema - 其余为默认值)和一个 CSVRecordSetWriter(继承 Records Schema)。

使用 CSVRecordSetWriter 中的参数,让你的 csv 看起来像你想要的那样。

输入

"creation_Date": "2018-08-19", "Hour_of_day": 7, "log_count": 2136

输出

creation_Date,Hour_of_day,log_count 2018-08-19,7,2136

这是 JsonTreeReader 的配置文件 这是 CSVRecordSetWriter 的配置

如果您不想使用架构,则必须混合使用:

EvaluateJson >> AttributestoCSV 

【讨论】:

感谢您的回复。但是,如果我只想将 2 个数据字段(creation_Date 和 log_count)转换为 csv,我怎么能不使用模式。请告诉我。 但您应该更倾向于用户 RecordSet* 控制器 - jsonsplit + evaljson 将所有流放在 JVM 中 - 对性能不太好

以上是关于Nifi:NIFI 中的 Json 到 CSV 转换器的主要内容,如果未能解决你的问题,请参考以下文章

在NiFi中使用ConvertRecord处理Null

NIFI 中的列值检查

Apache Kafka/NiFi 可以将数据转换为 JSON 文件吗?

xml Apache NiFi模板,使用ExecuteScript(使用Jython)执行JSON到JSON转换

从nifi中的xml中提取属性

在apache NIFI中将xls文件转换为csv文件