Shell + Datax 动态传递时间参数模式

Posted 2023-02-04 在奋斗的大道

Datax 数据同步模式

Shell 脚本实现Datax 数据同步四种模式

Datax 数据全量同步模式

此脚本省略...

Datax 数据实时增量（T+1）模式

功能：实现前一天日期 00:00:00 至前一天日期 23:59:59 数据同步

#！/bin/bash
# 切换至增量脚本文件存储目录位置
cd /home/tools/datax/bin
# 执行datax 增量脚本，传递时间范围 参数
python datax.py ../job/incre_house.json -p "-Dstart_time='`date -d "1 days ago" +"%Y-%m-%d "` 00:00:00' -Dend_time='`date -d "1 days ago" +"%Y-%m-%d"` 23:59:59'"

Datax 数据实时增量（T+0）模式

功能：实现当前日期：时:分：秒 减去执行周期时间（默认 ：1小时 ）至当前日期：时:分：秒 数据同步。

#！/bin/bash
# 切换至增量脚本文件存储目录位置
cd /home/tools/datax/bin
# 执行datax 增量脚本，传递时间范围 参数
python datax.py ../job/incre_house.json -p "-Dstart_time='`date -d "1 hour ago" +"%Y-%m-%d %H:%M:%S"`' -Dend_time='`date +"%Y-%m-%d %H:%M:%S"`'"

Datax 数据手工实时增量模式

功能：实时动态传递数据同步开始时间和结束时间，实现数据同步功能

#！/bin/bash
# 切换至增量脚本文件存储目录位置
cd /home/tools/datax/bin
# 执行datax 增量脚本，传递时间范围 参数
python datax.py ../job/incre_house.json -p "-Dstart_time='`date -d "$1" +"%Y-%m-%d %H:%M:%S"`' -Dend_time='`date -d "$2" +"%Y-%m-%d %H:%M:%S"`'"

温馨提示：

$1 = 数据同步开始时间
$2 = 数据同步结束时间
Shell功能关联：涉及Shell 字符串转 Date 函数，传递参数 需要使用 "括号。

操作实例：

./manual_house.sh "2022-12-21 12:00:00" "2022-12-21 18:00:00"

如果对Datax 还不是很了解，请参考:Datax 使用详解