hadoop的运行模式

Posted 2023-03-08 小唐同学(๑>؂<๑）

作者简介：大家好我是小唐同学(๑>؂<๑），好久不见，为梦想而努力的小唐又回来了，让我们一起加油！！！

个人主页：小唐同学(๑>؂<๑）的博客主页

目前再学习大数据，现在在初级阶段-刚学Hadoop，若有错误，请指正

目录

hadoop的三种运行模式区别：

完全分布式运行模式步骤：

一，虚拟机准备：

二，编写集群分发脚本xsync

        （1）scp定义：

        （2）基础语法：

(1)按照上述语法进行拷贝jdk

（2）按照上述语法拷贝Hadoop（第二种方法）

（3）拷贝也可以让Hadoop103操作  从Hadoop102中拷贝入Hadoop104

 三，rsync远程同步工具

rsync语法：

ssh免密登录：

免密登录原理：

ssh免密登录实操：

---

hadoop的三种运行模式区别：

完全分布式运行模式步骤：

1.准备三台客户机（关闭防火墙，静态IP，主机名）

2.安装jdk

3.配置环境变量

4.安装Hadoop

5.配置环境变量

6.配置集群

7.单点启动

8.配置ssh

9.群起并测试集群

一，虚拟机准备：

详见上章

二，编写集群分发脚本xsync

        （1）scp定义：

scp可以实现服务器与服务器之间的数据拷贝

        （2）基础语法：

scp      -r        $pdir/$fname                                 $user@$host:$pdir/$fname

命令    递归       要拷贝的文件路径/名称              目的地用户@主机：目的地路径/名称

实例演示（Hadoop100，Hadoop102，Hadoop103，Hadoop104已 经准备完全）

将jdk从Hadoop102上 拷贝到Hadoop103，Hadoop104上

将Hadoop从Hadoop102上拷贝到Hadoop103，Hadoop104上

拷贝有两种方法：

（1）把本服务器文件拷贝入其他服务器

（2）把其他服务器文件拷贝入本服务器

(1)按照上述语法进行拷贝jdk

（这是上述的第一种拷贝）

首次拷贝需要验证

 需要通过Xshell登录到Hadoop103    所以需要输入密码

 拷贝jar包

 进入Hadoop103   可以进入指定目录查看

（2）按照上述语法拷贝Hadoop（第二种方法）

在Hadoop103中操作，从Hadoop102中拷贝Hadoop

scp -r tangxiaocong@hadoop102:/opt/module/hadoop-3.1.3 ./

 这种操作可以让本机路径简化

以上两种操作，就使Hadoop，jdk从Hadoop102拷贝入Hadoop103

（3）拷贝也可以让Hadoop103操作  从Hadoop102中拷贝入Hadoop104

（听上去很无赖，很像小美）

scp -r tangxiaocong@hadoop102:/opt/module/* tangxiaocong@hadoop104:/opt/module/e/* tangxiaocon

在这里需要输入两次密码

 三，rsync远程同步工具

rsync主要用于备份和镜像，具有速度快，避免复制相同内容和支持符号链接的优点

 rsync和scp的区别：

        用rsync做文件的复制要比scp的速度快，rsync只对差异文件进行操作

        scp是把所有文件都进行复制

rsync语法：

 rsync   -av   $pdir/$fname                                 $user@$host:$pdir/$fname

命令    递归       要拷贝的文件路径/名称              目的地用户@主机：目的地路径/名称

xsync集群分发脚本

需求：

        循环复制文件到所有节点的相同目录下

需求分析：

        (a)rsync命令原始拷贝

rsync -av /opt/module tangxiaocong@hadoop103:/opt/

        （b）期望脚本

xsync要同步的文件名称

        （c）期望脚本在任何路径下都能使用（脚本在全局环境变量的路径）

ssh免密登录：

        ssh：是一种网络协议，用于计算机之间的加密登录

免密登录原理：

ssh免密登录实操：

现在是Hadoop102ssh远程登录Hadoop103

现在是有密登录

可以显示，已经在Hadoop102上有密登录

先来到自己家目录下

ls -al是查看所有隐藏文件

执行过ssh命令，所以会在家目录中有ssh的隐藏文件

设置ssh

免密登录

执行命令

  ssh-keygen -t rsa

rsa 是密钥对的一种算法（免密登录是通过密钥队进行联系---私钥和公钥） 

 没有执行命令之前

执行命令时

执行命令后会生成密钥队

 设置免密登录的服务器，需要将公钥进行拷贝（私钥不用拷贝）

ssh-copy-id命令可以把本地的ssh公钥文件安装到远程主机对应的账户下

实现免密登录

Hadoop在Xshell下访问自己也是要输入密码的：

所以还需要在给自己copy一份

可知copy后再ssh就不需要输入密码实现免密登录

当然这是普通用户的登录，如果切换到root用户下需要重新配置