在NiFi中使用ConvertRecord处理Null

Posted 2021-04-03

是否可以使用convertRecord或ant其他处理器处理null（CSV中不存在列）？

我每天都有几个CSv文件。但是每个CSv中的字段不一样的问题，是否有一种方法可以将0值发送到数据库中以用于CSV中不存在的所有字段。如果是，请不要让我怎么样？谢谢。

例如：CSV1具有以下字段：年龄，名称，地址，值1，值2，值3

（注意：Value3不是每次都出现在所有CSV中，有时它存在，有时候列不存在）

CSV2将具有以下内容：年龄，名称，地址，值1，值2

在数据库中表的框架如下：年龄，名称，地址，Value1，Value2，Value3

我不希望在数据库中有一些空值后跟一些值。有没有一种方法我的NiFi中的流可以处理“null”并在以自动方式插入数据库之前将其替换为0（如果CSV中不存在模式中给出的特定字段，则流应该将0分配给该字段并摄取数据库中的其他所有内容）

请帮我实现这个目标。谢谢！

答案

对于这种情况，您必须使用默认值定义avro架构。

示例avro架构：

{
"type": "record",
"name": "SQLSchema",
"fields" : [
{"name": "Age", "type": ["null","string"]},
{"name": "Name", "type": ["null","string"]},
{"name": "Address", "type": ["null","int"]},
{"name": "Value1", "type": ["null","int"]},
{"name": "Value2", "type": ["null","int"]},
{"name": "value3", "type": ["null","int"],"default": 0}
]
}

对于value3字段，我们将类型定义为null (or) int，并将默认值定义为0。

如果value3字段没有数据，则它将该值替换为0。