Hadoop 开发重点:完全分布式运行模式编写集群分发脚本 scp/rsync/xsync

Posted ZSYL

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop 开发重点:完全分布式运行模式编写集群分发脚本 scp/rsync/xsync相关的知识,希望对你有一定的参考价值。

完全分布式运行模式:编写集群分发脚本

1. scp 安全拷贝

scp :(secure copy)

(1)scp 定义

scp 可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)

(2)基本语法

scp -r   $pdir/$fname       $user@$host:$pdir/$fname
命令 递归 要拷贝的文件路径/名称  目的地用户@主机:目的地路径/名称

(3)案例实操

前提:在 hadoop102、hadoop103、hadoop104 都已经创建好的/opt/module/opt/software 两个目录,并且已经把这两个目录修改为 zs:zszs:username)。

sudo chown zs:zs -R /opt/module

(a)在 hadoop102 上,将 hadoop102中/opt/module/jdk1.8.0_212 目录拷贝到hadoop103 上。

scp -r /opt/module/jdk1.8.0_212 zs@hadoop103:/opt/module

(b)在 hadoop103 上,将 hadoop102中/opt/module/hadoop-3.1.3 目录拷贝到hadoop103 上。

scp -r zs@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/

(c)在 hadoop103 上操作,将 hadoop102 中/opt/module 目录下所有目录拷贝到hadoop104 上。

scp -r zs@hadoop102:/opt/module/* zs@hadoop104:/opt/module

2. rsync 远程同步工具

rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync 和 scp 区别:用 rsync 做文件的复制要比 scp 的速度快,rsync 只对差异文件做更新。scp 是把所有文件都复制过去。

一次copy用scp,二次更新用rsync

(1)基本语法

rsync -av    $pdir/$fname        $user@$host:$pdir/$fname
命令 选项参数  要拷贝的文件路径/名称  目的地用户@主机:目的地路径/名称

选项参数说明:


(2)案例实操

(a)删除 hadoop103 中/opt/module/hadoop-3.1.3/wcinput:

rm -rf wcinput/

(b)同步 hadoop102 中的/opt/module/hadoop-3.1.3 到 hadoop103

rsync -av hadoop-3.1.3/ zs@hadoop103:/opt/module/hadoop-3.1.3/

查看已删除的wcinput是否更新出来,而且速度更快,只更新差异文件,已有的自动跳过

3. xsync 集群分发脚本

(1)需求:循环复制文件到所有节点的相同目录下

(2)需求分析:

(a)rsync 命令原始拷贝:

rsync -av /opt/module zs@hadoop103:/opt/

(b)期望脚本:

xsync 要同步的文件名称

(c)期望脚本在任何路径都能使用(脚本放在声明了全局环境变量的路径)

# 查看PATH环境变量
echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/zs/.local/bin:/home/zs/bin:/opt/module/jdk1.8.0_212/bin

(3)脚本实现

(a)在/home/atguigu/bin 目录下创建 xsync 文件

[zs@hadoop102 opt]$ cd /home/atguigu
[zs@hadoop102 ~]$ mkdir bin
[zs@hadoop102 ~]$ cd bin
[zs@hadoop102 bin]$ vim xsync

在该文件中编写如下代码:

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 	echo Not Enough Arguement!
 	exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 	echo ==================== $host ====================
 	#3. 遍历所有目录,挨个发送
 	for file in $@
 	do
 		#4. 判断文件是否存在
 		if [ -e $file ]
 			then
 				#5. 获取父目录
 				pdir=$(cd -P $(dirname $file); pwd)
				#6. 获取当前文件的名称
 				fname=$(basename $file)
 				ssh $host "mkdir -p $pdir"
 				rsync -av $pdir/$fname $host:$pdir
 			else
 				echo $file does not exists!
 		fi
 	done
done

(b)修改脚本 xsync 具有执行权限

[zs@hadoop102 bin]$ chmod +x xsync

(c)测试脚本

[zs@hadoop102 ~]$ xsync /home/atguigu/bin

(d)将脚本复制到/bin 中,以便全局调用

[zs@hadoop102 bin]$ sudo cp xsync /bin/

(e)同步环境变量配置(root 所有者)

[zs@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

注意:如果用了 sudo,那么 xsync 一定要给它的路径补全。

让每一台服务器的环境变量生效:

[zs@hadoop103 bin]$ source /etc/profile
[zs@hadoop104 opt]$ source /etc/profile

xsync 集群分发脚本使用还是特别方便的,能快速的将数据同步到其他服务器。

加油!

感谢!

努力!

以上是关于Hadoop 开发重点:完全分布式运行模式编写集群分发脚本 scp/rsync/xsync的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop运行模式本地运行模式(官方WordCount)完全分布式运行模式(开发重点)scp安全拷贝rsync 远程同步工具xsync集群分发脚本同步环境变量配置(root所有着)

Hadoop从入门到入土(第四天)

Hadoop 3.1.3 分布式集群搭建,超详细,保姆级教程

Hadoop3 完全分布式运行模式-准备工作

Hadoop完全分布式集群搭建

hadoop第四章:完全分布式(开发重点)