解决datax处理csv文件时总是提示脏数据问题
Posted 1061321925wu
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了解决datax处理csv文件时总是提示脏数据问题相关的知识,希望对你有一定的参考价值。
此处为csv至mysql代码
{ "job": { "content": [ { "reader": { "name": "txtfilereader", "parameter": { "path": ["D:/file/test.csv"], "encoding":"gbk", "column": [ { "index": 0, "type": "string" }, { "index": 1, "type": "string" }, { "index": 2, "type": "string" }, ], "fieldDelimiter":"," } }, "writer": { "name": "mysqlwriter", "parameter": { "column": [ "id", "name", "age", ], "connection": [ { "jdbcUrl": "jdbc:mysql://localhost:3306/data?useUnicode=true&characterEncoding=utf8", "table": ["test2"] } ], "password": "root", "username": "root", "writeMode":"insert" } } } ], "setting": { "speed": { "channel": "1" } } } }
截图所示,若我在此处 将type改为int类型 与mysql数据库中的数据类型对应,则会出现脏数据的提示并且插入失败,原因未找到。
解决方法就是全部改成string
以上是关于解决datax处理csv文件时总是提示脏数据问题的主要内容,如果未能解决你的问题,请参考以下文章
用友U8做期末处理时提示由于数据移动,未能继续以NOLCOK方式扫描
Python 基于csv 读取文本文件提示:‘gbk‘ codec can‘t decode byte 0xbf in position 2: illegal multibyte sequence(代