Hadoop集群搭建(自己电脑)

Posted siguateng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop集群搭建(自己电脑)相关的知识,希望对你有一定的参考价值。

学习搭建方法,搭建3台机器

使用安装包:
技术图片
将上一篇Linux搭建的虚拟机作为主节点


1.将主节点挂起/关闭,找到主节点所在目录
技术图片
2.复制2个主节点文件夹并改名slave1和slave2
技术图片
3.在虚拟机中加载新建的两个文件夹作为新的虚拟机并运行和重命名
技术图片
技术图片
4.slave1 → su → cd /etc/sysconfig/network-scripts/ → ls → vim ifcfg-eth0 修改IP地址
技术图片
5.重启网卡 : /etc/init.d/network restart

Linux解决Device eth0 does not seem to be present,delaying initialization问题:

https://www.linuxidc.com/Linux/2018-08/153408.htm
6.网络适配器 → 设置 → 移除网络适配器
技术图片
7.添加网络适配器
技术图片
技术图片
8.查看是否能上网: curl www.baidu.com

解决centos 错误curl: (6) Couldn’t resolve host:

https://www.jianshu.com/p/c57027fa159a
9.slave2同上


使用SecureCRT连接

1.复制上次配置的终端并重命名
技术图片
2.右键进一步设置
技术图片
3.打开三个连接,分别检查IP地址
技术图片
技术图片
技术图片
4.分别查看是否能上网
curl www.baidu.com
ping www.baidu.com


Hadoop集群安装

安装Java

1.将安装包拷贝到三台机器上
(1)点击虚拟机master右键设置 → 选项 → 共享文件夹 → 总是启用 → 添加 →
技术图片
技术图片
(2)使用SecureCRT查看是否共享成功:cd /mnt/hgfs/

以上是关于Hadoop集群搭建(自己电脑)的主要内容,如果未能解决你的问题,请参考以下文章

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(下)-搭建Hadoop集群

如何搭建hadoop集群 桥接

搭建Hadoop集群

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

Hadoop伪分布集群搭建(Hadoop)

Hadoop伪分布集群搭建(Hadoop)