rsync同步工具和xsyncxcall集群脚本
Posted yimting
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了rsync同步工具和xsyncxcall集群脚本相关的知识,希望对你有一定的参考价值。
rsync
rsync 远程同步工具,主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync 和 scp 区别:用 rsync 做文件的复制要比 scp 的速度快,rsync 只对差异文件做更新。scp 是把所有文件都复制过去。
(1) 查看rsync 使用说明
man rsync | more
(2) 基本语法
rsync -rvl $pdir/$fname [email protected]$host:$pdir
命令 命令参数 要拷贝的文件路径/名称 目的用户@主机:目的路径选项
-r 递归
-v 显示复制过程
-l 拷贝符号连接
(3) 案例实操
把本机/opt/tmp 目录同步到 hadoop03 服务器的 root 用户下的/opt/tmp 目录
rsync -rvl /opt/tmp [email protected]:/opt/
编写集群分发脚本 xsync
1) 需求分析:循环复制文件到所有节点的相同目录下。
(1) 原始拷贝:
rsync -rvl /opt/module [email protected]:/opt/
(2) 期望脚本:
xsync 要同步的文件名称
(3) 在/usr/local/bin 这个目录下存放的脚本,可以在系统任何地方直接执行。
2) 案例实操:
(1) 在/usr/local/bin 目录下创建 xsync 文件,文件内容如下:
[[email protected] bin]# touch xsync
[[email protected] bin]# vi xsync
#!/bin/bash #1 获取输入参数个数,如果没有参数,直接退出 pcount=$# if((pcount==0)); then echo no args; exit; fi #2 获取文件名称p1=$1 fname=`basename $p1` echo fname=$fname #3 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1); pwd` echo pdir=$pdir #4 获取当前用户名称 user=`whoami` #5 循环 for((host=103; host<105; host++)); do #echo $pdir/$fname [email protected]$host:$pdir echo --------------- hadoop$host ---------------- rsync -rvl $pdir/$fname [email protected]$host:$pdir done
(2)修改脚本 xsync 具有执行权限
[[email protected] bin]# chmod 777 xsync
[[email protected] bin]# chown dy:dy -R xsync
(3)调用脚本形式:xsync 文件名称
[[email protected] opt]$ xsync tmp/
编写集群操作脚本 xcall
1) 需求分析:在所有主机上同时执行相同的命令xcall +命令
2) 具体实现
(1)在/usr/local/bin 目录下创建 xcall 文件,文件内容如下:
[[email protected] bin]# touch xcall
[[email protected] bin]# vi xcall
#!/bin/bash pcount=$# if((pcount==0));then echo no args; exit; fi echo -------------localhost---------- [email protected] for((host=101; host<=108; host++)); do echo ----------hadoop$host--------- ssh hadoop$host [email protected] done
(2)修改脚本 xcall 具有执行权限
[[email protected] bin]# chmod 777 xcall
[[email protected] bin]# chown dy:dy xcall
(3)调用脚本形式: xcall 操作命令
[[email protected] ~]# xcall rm -rf /opt/tmp/
以上是关于rsync同步工具和xsyncxcall集群脚本的主要内容,如果未能解决你的问题,请参考以下文章
Hadoop运行模式本地运行模式(官方WordCount)完全分布式运行模式(开发重点)scp安全拷贝rsync 远程同步工具xsync集群分发脚本同步环境变量配置(root所有着)