使用VMware多虚拟机搭建Hadoop集群

Posted lshao

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用VMware多虚拟机搭建Hadoop集群相关的知识,希望对你有一定的参考价值。

搭建环境:

  虚拟机 VMware12Pro

     操作系统  centos6.8

       hadoop 1.2.1

1.导入镜像文件,添加java环境

  1.查看当前系统中安装的java,ls /usr/share |grep java

  2.删除自带java,rm -rf java*

  3.解压jdk,tar -zxvf jdk.

2.克隆

3.修改hosts文件

4.配置ssh免密登录

  1.yum install openssh-server

  2.启动ssh服务 /etc/init.d/sshd start

  3.(前两步有的机器自带ssh直接跳过)

  4.自己的公钥将namenode节点的公钥添加至authorized_keys

  5.(可选)ssh-add id_rsa.(添加私钥)

  

  总结:配置ssh方法很多,这里强调一下ssh配置后依然无法使用的原因。

  首先可以用 ssh localhost测试是否成功。

  失败的原因: 1.没有ssh服务。2.服务未启动。3未添加私钥。4.调整authorized_keys 权限不是600

5.配置hadoop

6.启动

以上是关于使用VMware多虚拟机搭建Hadoop集群的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop集群+Spark集群搭建基于VMware虚拟机教程+安装运行Docker

Hadoop集群+Spark集群搭建基于VMware虚拟机教程+安装运行Docker

Hadoop集群+Spark集群搭建基于VMware虚拟机教程+安装运行Docker

从VMware安装建centos7虚拟机到hadoop集群搭建详细图文过程;以及安装中的一些问题

大数据实战——hadoop的模板虚拟机搭建

vmware搭建hadoop集群完整过程笔记