分布式集群群发脚本(xsync)

Posted "Hello World".

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了分布式集群群发脚本(xsync)相关的知识,希望对你有一定的参考价值。

Linux系统,集群文件分发脚本(xsync)

xsync

脚本文件创建

  1. 进入到/usr/local/bin文件夹下
cd /user/local/bin


2. 创建脚本文件xsync

touch xsync
  1. 编辑xsync
vi xsync
  1. 添加以下内容
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=1; host<8; host++)); do
        #echo $pdir/$fname $user@Hadoop$host:$pdir
        echo --------------- Hadoop$host ----------------
        rsync -rvl $pdir/$fname $user@Hadoop$host:$pdir
done

注意: host必须是自己已经设定好的,用户名和主机名根据自己的系统灵活修改,最好集群中的节点命名都有一定的规则,如Hadoop1、Hadoop2…、Hadoop7,根据自己节点的多少,调整for循环中的条件。

  1. 保存后,修改该脚本文件的权限
sudo chmod 777 xsync
sudo chown hunter:hunter xsync

使用方法

  1. 如分发/opt/module下test文件夹下的内容,包括test,全部分发到集群中的其他节点,只需在/opt/module目录下执行以下命令:
xsync test/
  1. 操作附图如下:

  2. 到其他节点查看(Hadoop2节点为例),内容已经分发到了集群中的所有结点

以上是关于分布式集群群发脚本(xsync)的主要内容,如果未能解决你的问题,请参考以下文章

xsync集群分发脚本

xsync集群分发脚本

Hadoop 开发重点:完全分布式运行模式编写集群分发脚本 scp/rsync/xsync

Hadoop运行模式本地运行模式(官方WordCount)完全分布式运行模式(开发重点)scp安全拷贝rsync 远程同步工具xsync集群分发脚本同步环境变量配置(root所有着)

Hadoop3.x - 本地安装 + 完全分布式安装 + 集群配置 + xsync分发脚本 (解决root用户启动Hadoop集群的报错问题)

xsync脚本的完整版和Hadoop集群启动脚本