DataX调优及常见问题
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了DataX调优及常见问题相关的知识，希望对你有一定的参考价值。
参考技术A 在datax 中导数据使用过程中往往会因为，目标数据过大导致datax oom，那么可以调大datax的jvm参数来防止oom,在python命令后，使用 -jvm=”-Xms5G -Xmx 5G”来调大当datax 导入mysql数据时，可能会因为有有数据报错，导致datax导数据会异常慢，那么可以修改mysqlwriter的writeMode模式 修改为Insert ignore 忽略报错，速度会显著提升。
如果报java.io.IOException: Maximum column length of 100,000 exceeded in column...异常信息，说明数据源column字段长度超过了100000字符。
需要在json的reader里增加如下配置
以上是关于DataX调优及常见问题的主要内容，如果未能解决你的问题，请参考以下文章
Linux技术专题「系统性能调优实战」终极关注应用系统性能调优及原理剖析（上册）