Hadoop的分发脚本编写

Posted 2021-03-16 天宇轩-王

手上有4台阿里云，正好可以搭建集群，就要把刚刚配置的单节点的数据拷贝过去。

 编写集群分发脚本xsync

1.    scp（secure copy）安全拷贝

（1）scp定义：

scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

（2）基本语法

Linux scp 命令用于 Linux 之间复制文件和目录。

scp 是 secure copy 的缩写, scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令。

scp 是加密的，rcp 是不加密的，scp 是 rcp 的加强版。

语法

scp [-1246BCpqrv] [-c cipher] [-F ssh_config] [-i identity_file]
[-l limit] [-o ssh_option] [-P port] [-S program]
[[user@]host1:]file1 [...] [[user@]host2:]file2

 

简易写法:

scp [可选参数] file_source file_target 

参数说明：

• -1： 强制scp命令使用协议ssh1
• -2： 强制scp命令使用协议ssh2
• -4： 强制scp命令只使用IPv4寻址
• -6： 强制scp命令只使用IPv6寻址
• -B： 使用批处理模式（传输过程中不询问传输口令或短语）
• -C： 允许压缩。（将-C标志传递给ssh，从而打开压缩功能）
• -p：保留原文件的修改时间，访问时间和访问权限。
• -q： 不显示传输进度条。
• -r： 递归复制整个目录。
• -v：详细方式显示输出。scp和ssh(1)会显示出整个过程的调试信息。这些信息用于调试连接，验证和配置问题。
• -c cipher： 以cipher将数据传输进行加密，这个选项将直接传递给ssh。
• -F ssh_config： 指定一个替代的ssh配置文件，此参数直接传递给ssh。
• -i identity_file： 从指定文件中读取传输时使用的密钥文件，此参数直接传递给ssh。
• -l limit： 限定用户所能使用的带宽，以Kbit/s为单位。
• -o ssh_option： 如果习惯于使用ssh_config(5)中的参数传递方式，
• -P port：注意是大写的P, port是指定数据传输用到的端口号
• -S program： 指定加密传输时所使用的程序。此程序必须能够理解ssh(1)的选项。

命令格式：

scp local_file remote_username@remote_ip:remote_folder 
或者 
scp local_file remote_username@remote_ip:remote_file 
或者 
scp local_file remote_ip:remote_folder 
或者 
scp local_file remote_ip:remote_file 

• 第1,2个指定了用户名，命令执行后需要再输入密码，第1个仅指定了远程的目录，文件名字不变，第2个指定了文件名；
• 第3,4个没有指定用户名，命令执行后需要输入用户名和密码，第3个仅指定了远程的目录，文件名字不变，第4个指定了文件名；

应用实例：

scp /home/space/music/1.mp3 [e-mail]:/home/root/others/music 
scp /home/space/music/1.mp3 [e-mail]:/home/root/others/music/001.mp3 
scp /home/space/music/1.mp3 www.runoob.com:/home/root/others/music 
scp /home/space/music/1.mp3 www.runoob.com:/home/root/others/music/001.mp3

 

（3）案例实操

（a）在hadoop101上，将hadoop101中/opt/module目录下的软件拷贝到其他节点上。

[root@hadoop001 hadoop]# scp -r /opt/module  root@hadoop002:/opt/module
The authenticity of host ‘hadoop002 (47.111.251.212)‘ can‘t be established.
ECDSA key fingerprint is SHA256:YNsodxgiTBhRi6BaO1LqQrkOeudAVMaRisZJQdaJdAA.
ECDSA key fingerprint is MD5:b5:82:88:93:92:6a:01:ed:4d:6f:80:bc:68:1a:e8:c9.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added ‘hadoop002,47.111.251.212‘ (ECDSA) to the list of known hosts.
root@hadoop002‘s password:
Permission denied, please try again.
root@hadoop002‘s password:
THIRDPARTYLICENSEREADME.txt                                                                                                        100%  142KB   6.2MB/s   00:00
LICENSE                                                                                                                            100%   11KB   1.9MB/s   00:00
NOTICE                                                                                                                             100%   13KB   2.2MB/s   00:00
3RDPARTY                                                                                                                           100%   11KB   1.8MB/s   00:00
dblook.bat                                                                                                                         100% 1387   236.1KB/s   00:00

 

（b）将hadoop101中/etc/profile文件拷贝到其他节点的/etc/profile上。

[root@hadoop001 hadoop-2.7.2]# scp /etc/profile root@hadoop002:/etc/profile
root@hadoop002‘s password:
profile                                                                                                                            100% 2012   342.8KB/s   00:00
[root@hadoop001 hadoop-2.7.2]# scp /etc/profile root@hadoop003:/etc/profile
root@hadoop003‘s password:
profile                                                                                                                            100% 2012   529.6KB/s   00:00
[root@hadoop001 hadoop-2.7.2]# scp /etc/profile root@hadoop004:/etc/profile

 

注意：拷贝过来的配置文件别忘了source一下/etc/profile，。

2.    rsync 远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

       （1）基本语法

rsync    -rvl       $pdir/$fname              $user@hadoop$host:$pdir/$fname

 

命令   选项参数   要拷贝的文件路径/名称    目的用户@主机:目的路径/名称

         选项参数说明

表2-2

选项	功能
-r	递归
-v	显示复制过程
-l	拷贝符号连接

（2）案例实操

              （a）把hadoop101机器上的/opt/module目录同步到hadoop003服务器的root用户下的/opt/目录

[root@hadoop001 hadoop]# vim /etc/hosts
[root@hadoop001 hadoop]# rsync -rvl /opt/module/ root@hadoop003:/opt/module
The authenticity of host ‘hadoop003 (47.111.232.53)‘ can‘t be established.
ECDSA key fingerprint is SHA256:YKGJjhv5Q/fneno2xR5HWQjFBkeZL09SF4RwtWI8tC4.
ECDSA key fingerprint is MD5:30:ad:2b:59:1c:a8:37:d3:bf:69:6b:7d:8f:ee:3b:b8.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added ‘hadoop003,47.111.232.53‘ (ECDSA) to the list of known hosts.
root@hadoop003‘s password:
sending incremental file list
created directory /opt/module
./
hadoop-2.7.2/
hadoop-2.7.2/LICENSE.txt
hadoop-2.7.2/NOTICE.txt
hadoop-2.7.2/README.txt
hadoop-2.7.2/hdfs-site.xml
hadoop-2.7.2/bin/
hadoop-2.7.2/bin/container-executor
hadoop-2.7.2/bin/hadoop

 

3.    xsync集群分发脚本

（1）需求：循环复制文件到所有节点的相同目录下

 （2）需求分析：

     （a）rsync命令原始拷贝：

rsync  -rvl     /opt/module              root@hadoop103:/opt/

 

    （b）期望脚本：

            xsync要同步的文件名称

（3）脚本实现

（a）在/usr/local/bin目录下xsync创建文件，文件内容如下：

[root@hadoop002 module]# cd /usr/local/bin
[root@hadoop002 bin]# ll
total 4
-rw-r--r-- 1 root root 498 Jan 14 22:57 xsync
[root@hadoop002 bin]# chmod 777 xsync
[root@hadoop002 bin]# ll
total 4
-rwxrwxrwx 1 root root 498 Jan 14 22:57 xsync
[root@hadoop002 bin]# pwd
/usr/local/bin
[root@hadoop002 bin]# cat xsync
#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=3; host<5; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -rvl $pdir/$fname $user@hadoop00$host:$pdir
done

[root@hadoop002 bin]#