虚拟机hadoop伪分布式搭建

Posted 2020-11-30 ydsuper

虚拟机搭建自定义类型 主机名为hadoop可以省略 很多步骤

1.安装虚拟机

　　配置和网络 

　　　　(1)IPADDR

　　　　(2)NETMASK

　　　　(3)GATEWAY

　　　　(4)DNS1

　　远程连接 Xshell

　　关闭防火墙

　　　　（1）service iptables stop

　　　　（2）chkconfig iptables off

2.安装jdk，配置环境变量

　　上传jdk压缩包 解压 jdk放到/usr/local路径下

　　　　（1）tar -zxvf  解压

　　　　（2）ln -s xxxx.jdk jdk 建立软连接

　　配置环境变量  进入到vi /etc/profile下

　　　　export JAVA_HOME=/usr/local/jdk
　　　　export PATH=.:$JAVA_HOME/bin:$PATH

　　刷新

　　　　source /etc/profile

　　查看是否成功

　　　　java -version

3.修改host是文件，添加映射

　　vi /etc/hosts 添加

　　自己的IP  主机名 

　　　例如：192.168.48.151 node51

4.配置免密登录

　　生成秘钥 ssh-keygen -t rsa 4个回车

　　拷贝秘钥 ssh-copy-id -i hadoop

5 上传hadoop压缩包到/usr/local/ 并解压 和上面jdk步骤相同

6 配置hadoop的环境变量
　　进入vi /etc/profile路径下
　　　　export JAVA_HOME=/usr/local/jdk
　　　　export HADOOP_HOME=/usr/local/hadoop
　　　　export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

　　刷新

　　　　source /etc/profile

7 修改7大配置文件,并进行替换
　　所在位置 hadoop/etc/hadoop

　　　　（1）core-site.xml

　　　　（2）hadoop-env.sh

　　　　（3）hdfs-site.xml

　　　　（4）mapred-site.xml

　　　　（5）slaves

　　　　（6）yarn-env.sh

　　　　（7）yarn-site.xml

　　　　　　hadoop 改为自己的主机名

　　　　　　主机名如果是hadoop可以不修改
8 格式化namenode
　　hdfs namenode -format
　　出现 has been successfully formatted 格式化成功
9 启动hadoop进程
　　start-all.sh
10 验证搭建是否成功,出现如下进程成功
　　DataNode
　　ResourceManager
　　SecondaryNameNode
　　NodeManager
　　NameNode