Hadoop 开发重点:完全分布式运行模式编写集群分发脚本 scp/rsync/xsync
Posted ZSYL
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop 开发重点:完全分布式运行模式编写集群分发脚本 scp/rsync/xsync相关的知识,希望对你有一定的参考价值。
完全分布式运行模式:编写集群分发脚本
1. scp 安全拷贝
scp :(secure copy)
(1)scp 定义
scp 可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)
(2)基本语法
scp -r $pdir/$fname $user@$host:$pdir/$fname
命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称
(3)案例实操
前提:在 hadoop102、hadoop103、hadoop104
都已经创建好的/opt/module
、/opt/software
两个目录,并且已经把这两个目录修改为 zs:zs
(zs:username)。
sudo chown zs:zs -R /opt/module
(a)在 hadoop102 上,将 hadoop102中/opt/module/jdk1.8.0_212
目录拷贝到hadoop103 上。
scp -r /opt/module/jdk1.8.0_212 zs@hadoop103:/opt/module
(b)在 hadoop103 上,将 hadoop102中/opt/module/hadoop-3.1.3
目录拷贝到hadoop103 上。
scp -r zs@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/
(c)在 hadoop103 上操作,将 hadoop102 中/opt/module 目录下所有目录拷贝到hadoop104 上。
scp -r zs@hadoop102:/opt/module/* zs@hadoop104:/opt/module
2. rsync 远程同步工具
rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync 和 scp 区别:用 rsync 做文件的复制要比 scp 的速度快,rsync 只对差异文件做更新。scp 是把所有文件都复制过去。
一次copy用scp,二次更新用rsync
(1)基本语法
rsync -av $pdir/$fname $user@$host:$pdir/$fname
命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称
选项参数说明:
(2)案例实操
(a)删除 hadoop103 中/opt/module/hadoop-3.1.3/wcinput
:
rm -rf wcinput/
(b)同步 hadoop102 中的/opt/module/hadoop-3.1.3
到 hadoop103
rsync -av hadoop-3.1.3/ zs@hadoop103:/opt/module/hadoop-3.1.3/
查看已删除的wcinput是否更新出来,而且速度更快,只更新差异文件,已有的自动跳过
3. xsync 集群分发脚本
(1)需求:循环复制文件到所有节点的相同目录下
(2)需求分析:
(a)rsync 命令原始拷贝:
rsync -av /opt/module zs@hadoop103:/opt/
(b)期望脚本:
xsync 要同步的文件名称
(c)期望脚本在任何路径都能使用(脚本放在声明了全局环境变量的路径)
# 查看PATH环境变量
echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/zs/.local/bin:/home/zs/bin:/opt/module/jdk1.8.0_212/bin
(3)脚本实现
(a)在/home/atguigu/bin
目录下创建 xsync 文件
[zs@hadoop102 opt]$ cd /home/atguigu
[zs@hadoop102 ~]$ mkdir bin
[zs@hadoop102 ~]$ cd bin
[zs@hadoop102 bin]$ vim xsync
在该文件中编写如下代码:
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
echo ==================== $host ====================
#3. 遍历所有目录,挨个发送
for file in $@
do
#4. 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done
(b)修改脚本 xsync 具有执行权限
[zs@hadoop102 bin]$ chmod +x xsync
(c)测试脚本
[zs@hadoop102 ~]$ xsync /home/atguigu/bin
(d)将脚本复制到/bin 中,以便全局调用
[zs@hadoop102 bin]$ sudo cp xsync /bin/
(e)同步环境变量配置(root 所有者)
[zs@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh
注意:如果用了 sudo,那么 xsync 一定要给它的路径补全。
让每一台服务器的环境变量生效:
[zs@hadoop103 bin]$ source /etc/profile
[zs@hadoop104 opt]$ source /etc/profile
xsync 集群分发脚本使用还是特别方便的,能快速的将数据同步到其他服务器。
加油!
感谢!
努力!
以上是关于Hadoop 开发重点:完全分布式运行模式编写集群分发脚本 scp/rsync/xsync的主要内容,如果未能解决你的问题,请参考以下文章
Hadoop运行模式本地运行模式(官方WordCount)完全分布式运行模式(开发重点)scp安全拷贝rsync 远程同步工具xsync集群分发脚本同步环境变量配置(root所有着)