Kettle csv导入,在格式错误的行中设置空值
Posted
技术标签:
【中文标题】Kettle csv导入,在格式错误的行中设置空值【英文标题】:Kettle csv import, set null value in rows with format errors 【发布时间】:2020-07-20 13:04:08 【问题描述】:我创建了一个导入作业,它从 CSV 文件中读取数据并将它们(进行一些更改)保存在 mysql DB 中。 作业有效,但有时我的输入文件很脏,如果我为日期设置格式,我有一个例外,无法详细说明文件。
如图所示,我设置了日期格式。
不幸的是,有时这些值没有正确填写。如果值不是日期,我想设置一个空日期。相反,到目前为止,我得到的只是一个例外:
为不符合给定格式的单元格设置空值的最佳方法是什么?
【问题讨论】:
【参考方案1】:我使用文本文件输入而不是 CSV 文件输入解决了问题。它嵌入了这个逻辑。
【讨论】:
请注意,您忽略了错误而不是管理它们。这意味着格式不正确的记录可能不会存储在数据库中。您应该有一个错误处理步骤,将错误日期转换为您想要的任何日期,然后将它们存储在数据库中。以上是关于Kettle csv导入,在格式错误的行中设置空值的主要内容,如果未能解决你的问题,请参考以下文章
ALTER TABLE,在非空列中设置空,PostgreSQL 9.1
Kettle导入数据到Hive 出现多余的几行全部是null值的情况