使用dataX收获的教训

Posted 2020-11-28 qianmo123

首先是安装dataX，安装非常简单，只需下载对应的压缩包即可。

下载地址：https://github.com/alibaba/DataX

首先我出现的第一个错误：命令提示符界面出现出现乱码。

解决方法：

　　　　可以在cmd中输入： CHCP 65001 ，然后进行后续操作。

然后我遇到的最大的一个错误：

经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误. 您提供的配置信息不是合法的JSON格式: unclosed string : * . 请按照标准json格式提供配置信息.

然后我百思不得其解，问了几个同学也没有结果，最后发现错误，真是被自己搞笑了。原来是路径写错了，比如该路径  D:/datax/datax/job/data1.csv

而我硬写成了  D:dataxdataxjobdata1.csv   

经过上面的教训我终于知道了一般 ‘‘后面加字母都是转义字符，下次肯定不会弄乱了。

 

 

读取本地文件写到mysql中代码：

 1 {
 2     "job": {
 3         "content": [
 4             {
 5                 "reader": {
 6                     "name": "txtfilereader", 
 7                     "parameter": {
 8                     "path": ["C:/Users/train_label.csv"], 
 9                     "encoding":"GBK",
10                         "column": [
11                             {
12                                 "index":0,
13                                 "type":"string"
14                             },
15                             {
16                                 "index":1,
17                                 "type":"string"
18                             }
19                         ],
20                     "fieldDelimiter":","
21                     }
22                 }, 
23                 "writer": {
24                     "name": "mysqlwriter", 
25                     "parameter": {
26                         "column": [
27                         "ID",
28                         "Label"
29                         ], 
30                         "connection": [
31                             {
32                                 "jdbcUrl": "jdbc:mysql://localhost:3306/user", 
33                                 "table": ["ccc"]
34                             }
35                         ], 
36                         "password": "password", 
37                         "username": "root",
38                         "preSql":[""],
39                         "session":["set session sql_mode=‘ANSI‘"],
40                         "writeMode":"insert"
41                     }
42                 }
43             }
44         ], 
45         "setting": {
46             "speed": {
47                 "channel": "1"
48             }
49         }
50     }
51 }

View Code