解决datax处理csv文件时总是提示脏数据问题

Posted 1061321925wu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了解决datax处理csv文件时总是提示脏数据问题相关的知识,希望对你有一定的参考价值。

此处为csv至mysql代码

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "txtfilereader", 
                    "parameter": {
                    "path": ["D:/file/test.csv"], 
                    "encoding":"gbk",
                        "column": [
                            {
                                "index": 0,
                                "type": "string"
                            },
                            {
                                "index": 1,
                                "type": "string"
                            },
                            {
                                "index": 2,
                                "type": "string"
                            },
                        ],
                    "fieldDelimiter":","
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": [
                        "id",
                        "name",
                        "age",
                        ], 
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://localhost:3306/data?useUnicode=true&characterEncoding=utf8", 
                                "table": ["test2"]
                            }
                        ], 
                        "password": "root", 
                        "username": "root",
                        "writeMode":"insert"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

技术图片

 

 截图所示,若我在此处 将type改为int类型 与mysql数据库中的数据类型对应,则会出现脏数据的提示并且插入失败,原因未找到。

解决方法就是全部改成string

以上是关于解决datax处理csv文件时总是提示脏数据问题的主要内容,如果未能解决你的问题,请参考以下文章

用友U8做期末处理时提示由于数据移动,未能继续以NOLCOK方式扫描

Python 基于csv 读取文本文件提示:‘gbk‘ codec can‘t decode byte 0xbf in position 2: illegal multibyte sequence(代

使用DataX将.csv文件的数据读入Mysql数据库

记一次通过nginx反代网站请求总是超时的问题

SharePoint Config DB site collection脏数据处理

DataX-操作HDFS