datax将MySQL数据导入到Oracle

Posted 2020-12-17

因Oracle dblink BUG导致每次查询大量数据的时候无法查询，现在通过datax直接将重要数据同步过来。
datax的文档还是很齐全的，这里走了许多弯路。

{
    "job": {
        "setting": {
            "speed": {
                "channel": 5
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "selectuser",
                        "password": "selectpass",
                        "column": [‘*‘],
                        "splitPk": "id",
                        "connection": [
                            {
                               "table": ["user"],
                               "jdbcUrl": ["jdbc:mysql://192.168.0.2:3306/mall_db"],
                            }
                        ]
                      }
                    },
                "writer": {
                    "name": "oraclewriter",
                    "parameter": {
                        "username": "oracleuser",
                        "password": "oraclepass",
                        "column": [‘*‘],
                        "truncate": "true",
                        "preSql": ["truncate table user"],
                        "connection": [
                           {
                              "jdbcUrl": "jdbc:oracle:thin:@172.19.12.149:1521:oracleuser",
                              "table": [‘user‘],
                           }
                        ]
                    }
                }
                }
        ]
    }
}

注意：
1.在Oracle建立表的时候，所有的表名以及字段全部采用大写，否则出现缺失字段或者找不到表的问题
2.reader的数据库jdbc是要用[]数组形式的，否则将会报错
3.在用datax的时候在导入的数据排序不是按照id的自增的，这点注意下