kudu表数据备份还原说明

Posted 2022-05-31 江南独孤客

文档目的​

ods层kudu大表数据迁移到hive

迁移步骤​

先将数据从kudu备份到hdfs上，再从hdfs将数据还原到hive

数据备份脚本​

#!/bin/bash dt=`date "+%Y%m%d %H:%M:%S"` echo "$dt 开始数据备份！" >> ./backup.log sudo -u hdfs spark-submit --master yarn \\ --class org.apache.kudu.backup.KuduBackup /opt/cloudera/parcels/CDH/jars/kudu-backup2_2.11-1.10.0-cdh6.3.0.jar \\ --kuduMasterAddresses gray-data-dwma01,gray-data-dwma02,gray-data-dwma03,data-gray-alhzgz-ecs-dtpbu-cdh-tank-v2-dwma-04,data-gray-alhzgz-ecs-dtpbu-cdh-tank-v2-dwma-05 \\ --rootPath /user/hive/warehouse/kudu-backup \\ db_prod.ads_agent_data_driver_apply_ds dt=`date "+%Y%m%d %H:%M:%S"` if [ $? -eq 0 ];then echo "$dt 备份成功！" >> ./backup.log else echo "$dt 备份失败！" >> ./backup.log fi

脚本说明：脚本执行方式 nohup sh 脚本名 &

：dt 系统时间

：--class org.apache.kudu.backup.KuduBackup 本地jar路径

：--kuduMasterAddresses kuduMaster地址

：--rootPath 备份目录

：db_prod.ads_agent_data_driver_apply_ds 需要备份的库表，脚本只需修改此处

数据还原脚本​

#/bin/bash dt=`date "+%Y%m%d %H:%M:%S"` echo "$dt 开始数据还原！" >> ./backup.log sudo -u hdfs spark-submit --master yarn \\ --class org.apache.kudu.backup.KuduRestore /opt/cloudera/parcels/CDH/jars/kudu-backup2_2.11-1.10.0-cdh6.3.0.jar \\ --kuduMasterAddresses gray-data-dwma01,gray-data-dwma02,gray-data-dwma03,data-gray-alhzgz-ecs-dtpbu-cdh-tank-v2-dwma-04,data-gray-alhzgz-ecs-dtpbu-cdh-tank-v2-dwma-05 \\ --rootPath /user/hive/warehouse/kudu-backup \\ db_prod.ads_agent_data_driver_apply_ds dt=`date "+%Y%m%d %H:%M:%S"` if [ $? -eq 0 ];then echo "数据还原成功！" >> ./backup.log else echo "数据还原失败！" >> ./backup.log fi

脚本说明：脚本执行方式 nohup sh 脚本名 &

：dt 系统时间

：--class org.apache.kudu.backup.KuduRestore 本地jar路径

：--kuduMasterAddresses kuduMaster地址

：--rootPath 备份保存目录

：db_prod.ads_agent_data_driver_apply_ds 需要还原的库表，脚本只需修改此处