Hadoop运行模式本地运行模式（官方WordCount）完全分布式运行模式（开发重点）scp安全拷贝rsync 远程同步工具xsync集群分发脚本同步环境变量配置（root所有着）

Posted Redamancy06

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop运行模式本地运行模式（官方WordCount）完全分布式运行模式（开发重点）scp安全拷贝rsync 远程同步工具xsync集群分发脚本同步环境变量配置（root所有着）相关的知识，希望对你有一定的参考价值。

文章目录

3.Hadoop运行模式

Hadoop官方网站：http://hadoop.apache.org/
Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。
伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。
完全分布式模式：多台服务器组成分布式环境。生产环境使用。

3.1本地运行模式（官方WordCount）

3.1.1创建在hadoop-3.1.3文件下面创建一个testinput文件夹

  • [summer@hadoop102 hadoop-3.1.3]$ mkdir testinput

3.1.2在testinput文件下创建一个word.txt文件

3.1.3编辑word.txt文件

wo wo
zui zui
shuai shuai

3.1.4回到Hadoop目录/opt/module/hadoop-3.1.3

3.1.5执行程序

  • [summer@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount testinput/ testoutput
    输入输出路径必须有，输出路径得需要不存在

3.1.6查看结果

  • [summer@hadoop102 testoutput]$ cat part-r-00000
    shuai 2
    wo 2
    zui 2

3.2完全分布式运行模式（开发重点）

分析：
1）准备3台客户机（关闭防火墙、静态IP、主机名称）
2）安装JDK
3）配置环境变量
4）安装Hadoop
5）配置环境变量
6）配置集群
7）单点启动
8）配置ssh
9）群起并测试集群

3.2.1虚拟机准备

看我之前写的博客
模板虚拟机环境准备http://t.csdn.cn/oACCG
克隆虚拟机http://t.csdn.cn/3VXn2

3.2.2编写集群分发脚本xsync

3.2.2.1scp（secure copy）安全拷贝

3.2.2.1.1scp定义

scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

3.2.2.1.2基本语法
scp    -r        $pdir/$fname             $user@$host:$pdir/$fname
命令   递归       要拷贝的文件路径/名称       目的地用户@主机:目的地路径/名称
3.2.2.1.3实操
3.2.2.1.3.1前提：在hadoop102、hadoop103、hadoop104都已经创建好的/opt/module、/opt/software两个目录，并且已经把这两个目录修改为summer:summer



如果有哪一台虚拟机没有将目录修改为summer:summer，或者没有创建好/opt/module、/opt/software两个目录看我之前的博客http://t.csdn.cn/EOONM，
1.1.6

3.2.2.1.3.2在hadoop102上，将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上
  • [summer@hadoop102 module]$ scp -r jdk1.8.0_212/ summer@hadoop103:/opt/module/



然后就等待拷贝成功

看到hadoop103已经有了jdk了，说明从hadoop102向hadoop103拷贝成功了

3.2.2.1.3.3在hadoop103上，将hadoop102中/opt/module/hadoop-3.1.3目录拷贝到hadoop103上
  • [summer@hadoop103 module]$ scp -r summer@hadoop102:/opt/module/hadoop-3.1.3 ./


然后就等待拷贝成功

看到hadoop103已经有了hadoop了，说明hadoop103从hadoop102中的hadoop拿过来了

3.2.2.1.3.4在hadoop103上操作，将hadoop102中/opt/module目录下所有目录拷贝到hadoop104上
  • [summer@hadoop103 module]$ scp -r summer@hadoop102:/opt/module/* summer@hadoop104:/opt/module/


    然后就等待拷贝成功

看到hadoop104已经有了jdk和hadoop了，说明在hadoop102中从hadoop102中的jdk和hadoop拷贝到了hadoop104中了

3.2.2.2rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

3.2.2.2.1基本语法
rsync -av    $pdir/$fname $user@$host:$pdir/$fname
命令  选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

选项参数说明

选项功能
-a归档拷贝
-v显示复制过程
3.2.2.2.2实操
3.2.2.2.2.1删除hadoop103中/opt/module/hadoop-3.1.3/testinput和testoutput
  • [summer@hadoop103 hadoop-3.1.3]$ rm -rf testinput/
  • [summer@hadoop103 hadoop-3.1.3]$ rm -rf testoutput/

3.2.2.2.2.2同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103
  • [summer@hadoop102 module]$ rsync -av hadoop-3.1.3/ summer@hadoop103:/opt/module/hadoop-3.1.3/


然后就等待成功，这个比scp要快

3.2.2.3xsync集群分发脚本

3.2.2.3.1需求：循环复制文件到所有节点的相同目录下
3.2.2.3.2需求分析
3.2.2.3.2.1xsync命令原始拷贝

xsync -av /opt/module summer@hadoop103:/opt/

3.2.2.3.2.2期望脚本

xsync要同步的文件名称

3.2.2.3.2.3期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

[summer@hadoop102 ~]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/hadoop-3.1.3/bin:/opt/module/hadoop-3.1.3/sbin:/opt/module/jdk1.8.0_212/bin:/home/summer/.local/bin: /home/summer/bin

3.2.2.3.3脚本实现
3.2.2.3.3.1在/home/summer/bin目录下创建xsync文件

[summer@hadoop102 ~]$ mkdir bin
[summer@hadoop102 ~]$ cd bin
[summer@hadoop102 bin]$ vim xsync

xsync文件内容为：

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
   echo Not Enough Arguement!
   exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done
3.2.2.3.3.2修改脚本xsync具有执行权限
  • [summer@hadoop102 bin]$ chmod 777 xsync

3.2.2.3.3.3测试脚本
  • [summer@hadoop102 bin]$ xsync /home/summer/bin


3.2.2.3.3.4将脚本复制到/bin中，以便全局调用
  • [summer@hadoop102 bin]$ sudo cp xsync /bin/
3.2.2.3.3.5同步环境变量配置（root所有者）
  • [summer@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env_hadoop-3.1.3.sh
  • [summer@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env_jdk_1.8.0_212.sh
    注意：如果用了sudo，那么xsync一定要给它的路径补全


让环境变量生效

  • [summer@hadoop103 ~]$ source /etc/profile
  • [summer@hadoop104 ~]$ source /etc/profile

以上是关于Hadoop运行模式本地运行模式（官方WordCount）完全分布式运行模式（开发重点）scp安全拷贝rsync 远程同步工具xsync集群分发脚本同步环境变量配置（root所有着）的主要内容，如果未能解决你的问题，请参考以下文章

大数据3.1hadoop本地运行

Hadoop运行模式

大数据技术之_03_Hadoop学习_02_入门_Hadoop运行模式+本地运行模式+伪分布式运行模式+完全分布式运行模式(开发重点)+Hadoop编译源码(面试重点)+常见错误及解决方案(示例代(代

Hadoop三种运行模式详解

Hadoop本地运行模式之Grep案例WordCount案例

Hadoop集群搭建