使用VMware多虚拟机搭建Hadoop集群
Posted lshao
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用VMware多虚拟机搭建Hadoop集群相关的知识,希望对你有一定的参考价值。
搭建环境:
虚拟机 VMware12Pro
操作系统 centos6.8
hadoop 1.2.1
1.导入镜像文件,添加java环境
1.查看当前系统中安装的java,ls /usr/share |grep java
2.删除自带java,rm -rf java*
3.解压jdk,tar -zxvf jdk.
2.克隆
3.修改hosts文件
4.配置ssh免密登录
1.yum install openssh-server
2.启动ssh服务 /etc/init.d/sshd start
3.(前两步有的机器自带ssh直接跳过)
4.自己的公钥将namenode节点的公钥添加至authorized_keys
5.(可选)ssh-add id_rsa.(添加私钥)
总结:配置ssh方法很多,这里强调一下ssh配置后依然无法使用的原因。
首先可以用 ssh localhost测试是否成功。
失败的原因: 1.没有ssh服务。2.服务未启动。3未添加私钥。4.调整authorized_keys 权限不是600
5.配置hadoop
6.启动
以上是关于使用VMware多虚拟机搭建Hadoop集群的主要内容,如果未能解决你的问题,请参考以下文章
Hadoop集群+Spark集群搭建基于VMware虚拟机教程+安装运行Docker
Hadoop集群+Spark集群搭建基于VMware虚拟机教程+安装运行Docker
Hadoop集群+Spark集群搭建基于VMware虚拟机教程+安装运行Docker