Kettle csv导入,在格式错误的行中设置空值

Posted

技术标签:

【中文标题】Kettle csv导入,在格式错误的行中设置空值【英文标题】:Kettle csv import, set null value in rows with format errors 【发布时间】:2020-07-20 13:04:08 【问题描述】:

我创建了一个导入作业,它从 CSV 文件中读取数据并将它们(进行一些更改)保存在 mysql DB 中。 作业有效,但有时我的输入文件很脏,如果我为日期设置格式,我有一个例外,无法详细说明文件。

如图所示,我设置了日期格式。

不幸的是,有时这些值没有正确填写。如果值不是日期,我想设置一个空日期。相反,到目前为止,我得到的只是一个例外:

为不符合给定格式的单元格设置空值的最佳方法是什么?

【问题讨论】:

【参考方案1】:

我使用文本文件输入而不是 CSV 文件输入解决了问题。它嵌入了这个逻辑。

【讨论】:

请注意,您忽略了错误而不是管理它们。这意味着格式不正确的记录可能不会存储在数据库中。您应该有一个错误处理步骤,将错误日期转换为您想要的任何日期,然后将它们存储在数据库中。

以上是关于Kettle csv导入,在格式错误的行中设置空值的主要内容,如果未能解决你的问题,请参考以下文章

ETL工具kettle的csv输入和excel输入

ALTER TABLE,在非空列中设置空,PostgreSQL 9.1

Kettle导入数据到Hive 出现多余的几行全部是null值的情况

Sqoop2 Hbase 导入:无法为行键列插入具有空值的行

通过phpmyadmin将csv文件导入mysql

Excel PowerQuery:数字列中的空值