DataX系列10-DataX优化

Posted 2023-05-16

参考技术A 当觉得DataX传输速度慢时，需要从上述四个方面着手开始排查。

  此部分主要需要了解网络本身的情况，即从源端到目的端的带宽是多少（实际带宽计算公式），平时使用量和繁忙程度的情况，从而分析是否是本部分造成的速度缓慢。

以下提供几个思路。

datax 安装目录的conf 目录下的 core.json 文件。

实际运行每个人物的json配置文件

channel增大，为防止OOM，需要修改datax工具的datax.py文件。
如下所示，可根据任务机的实际配置，提升-Xms与-Xmx，来防止OOM。
tunnel并不是越大越好，过分大反而会影响宿主机的性能。
DEFAULT_JVM = "-Xms1g -Xmx1g -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=%s/log" % (DATAX_HOME)

-Xms3G 表示JVM的初始值为3G
-Xmx3G 表示JVM可使用的最大值为3G

这样做的好处是给定一个大的内存，让同步数据处理起来更快。
也可以避免内存的抖动。

如果源端是mysql的话，可以使用mysql的切分，并行处理。

可以看到日志里面根据spilit进行切分了

大数据DataX：DataX的框架设计和插件体系

文章目录

DataX的框架设计和插件体系

一、DataX是什么