hadoop集群崩了,用了一天才重新弄好。

Posted 潘福龙

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop集群崩了,用了一天才重新弄好。相关的知识,希望对你有一定的参考价值。

  今天弄虚拟机的时候发现打开Hadoop集群的那个sbin/start-dfs.sh命令不好使了,报了一堆错,是这样的

Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)

咋打也打不开,网页搜索http://hadoop102:9870也搜不到了,遇到这种集群崩了的处理办法,我总结了我的处理方法,当启动Hadoop报上面那个错误的时候是因为你的ssh免密登录出现了问题。

在网上也是查找了很多的修改方法,大同小异,无非是让你修改sshd_config文件,再创建密钥,修改权限,但我发现一点效果也没有,而且修改完成之后我连xshell都连不上虚拟机了,当时非常崩溃。

所以我建议大家尽量不要相信网上的修改方法,因为不懂虚拟机的运行原理,有可能越改越乱,最后啥也弄不好了。

  我知道我是ssh免密登录没弄好,所以我回过头去整了一下我的ssh发现确实少了个文件,可能是写代码的时候用idea删掉了。

  解决方法:进入到以下目录,查看是否生成过秘钥对,如果有的话直接ssh-copy-id 主机名 没有的话执行ssh-keygen -t rsa后再重新执行ssh-copy-id 主机(不要忘记本机),停掉hadoop,重新启动。

无论你之前是安好hadoop之后又崩坏的还是一直没安好出现的这个问题,按照我的方法都适用。

 下面是具体的ssh免密配置方法:

(1)免密登录原理

 

 

(2)生成公钥和私钥
[atguigu@hadoop102 .ssh]$ pwd
/home/atguigu/.ssh
[atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲(三个回车),就会生成两个文件 id_rsa(私钥)、id_rsa.pub(公钥)

(3)将公钥拷贝到要免密登录的目标机器上
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104

   

注意:
还需要在 hadoop103 上采用 atguigu 账号配置一下无密登录到 hadoop102、hadoop103、
hadoop104 服务器上。
还需要在 hadoop104 上采用 atguigu 账号配置一下无密登录到 hadoop102、hadoop103、
hadoop104 服务器上。
还需要在 hadoop102 上采用 root 账号,配置一下无密登录到 hadoop102、hadoop103、
hadoop104;

3).ssh 文件夹下(~/.ssh)的文件功能解释

known_hosts :记录 ssh 访问过计算机的公钥(public key)
id_rsa :生成的私钥
id_rsa.pub : 生成的公钥
authorized_keys :存放授权过的无密登录服务器公钥

 

以上是关于hadoop集群崩了,用了一天才重新弄好。的主要内容,如果未能解决你的问题,请参考以下文章

使用Cloudera部署,管理Hadoop集群

Hadoop

CDH5.7Hadoop集群搭建(离线版)

搭建Hadoop集群需要注意的问题:

Hadoop系列之:使用Cloudera部署,管理Hadoop集群

Hadoop2.0分布式集群的平台搭建