hadoop集群崩了,用了一天才重新弄好。
Posted 潘福龙
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop集群崩了,用了一天才重新弄好。相关的知识,希望对你有一定的参考价值。
今天弄虚拟机的时候发现打开Hadoop集群的那个sbin/start-dfs.sh命令不好使了,报了一堆错,是这样的
Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)
咋打也打不开,网页搜索http://hadoop102:9870也搜不到了,遇到这种集群崩了的处理办法,我总结了我的处理方法,当启动Hadoop报上面那个错误的时候是因为你的ssh免密登录出现了问题。
在网上也是查找了很多的修改方法,大同小异,无非是让你修改sshd_config文件,再创建密钥,修改权限,但我发现一点效果也没有,而且修改完成之后我连xshell都连不上虚拟机了,当时非常崩溃。
所以我建议大家尽量不要相信网上的修改方法,因为不懂虚拟机的运行原理,有可能越改越乱,最后啥也弄不好了。
我知道我是ssh免密登录没弄好,所以我回过头去整了一下我的ssh发现确实少了个文件,可能是写代码的时候用idea删掉了。
解决方法:进入到以下目录,查看是否生成过秘钥对,如果有的话直接ssh-copy-id 主机名 没有的话执行ssh-keygen -t rsa后再重新执行ssh-copy-id 主机(不要忘记本机),停掉hadoop,重新启动。
无论你之前是安好hadoop之后又崩坏的还是一直没安好出现的这个问题,按照我的方法都适用。
下面是具体的ssh免密配置方法:
(1)免密登录原理
(2)生成公钥和私钥
[atguigu@hadoop102 .ssh]$ pwd
/home/atguigu/.ssh
[atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa
然后敲(三个回车),就会生成两个文件 id_rsa(私钥)、id_rsa.pub(公钥)
(3)将公钥拷贝到要免密登录的目标机器上
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104
注意:
还需要在 hadoop103 上采用 atguigu 账号配置一下无密登录到 hadoop102、hadoop103、
hadoop104 服务器上。
还需要在 hadoop104 上采用 atguigu 账号配置一下无密登录到 hadoop102、hadoop103、
hadoop104 服务器上。
还需要在 hadoop102 上采用 root 账号,配置一下无密登录到 hadoop102、hadoop103、
hadoop104;
3).ssh 文件夹下(~/.ssh)的文件功能解释
known_hosts :记录 ssh 访问过计算机的公钥(public key)
id_rsa :生成的私钥
id_rsa.pub : 生成的公钥
authorized_keys :存放授权过的无密登录服务器公钥
以上是关于hadoop集群崩了,用了一天才重新弄好。的主要内容,如果未能解决你的问题,请参考以下文章