Hadoop的伪分布式安装和部署流程

Posted 2021-03-08 几个Ak

在opt目录创建install software test other四个目录

/opt/installed #安装包
/opt/software #软件包
/opt/other #其他
/opt/test #测试

1.上传hadoop

　　yum install lrzsz //安装lrzsz用于上传

　　cd install //进入Install文件夹

　　输入rz

　　找到本地下载好的hadoop压缩包 点击hadoop-2.7.7.tar.gz上传

　　因hadoop使用java编写，所以需要jdk

　　rz jdk-8u181-linux-x64.tar.gz

2.解压hadoop

　　tar   -zxvf   jdk-8u181-linux-x64.tar.gz -C /opt/software

　　tar   -zxvf   hadoop-2.7.7.tar.gz -C  /opt/software #把角度看和hadoop解压到指定的software文件夹中

　　cd ../software

　　mv jdk1.8.0_221 jdk1.8 //把jdk改名

3.配置环境

　　vim /etc/profile

　　在末尾加：

　　　　　　JAVA_HOME=/opt/software/jdk1.8
　　　　　　CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
　　　　　　Path=$PATH:$JAVA_HOME/bin

　　：wq退出

　　source /etc/profile  #linux内核 重新加载某个文件　　

4. 测试 是否配置成功

　　 java -version

　　显示如下则成功

　　

 

 

 5.hadoop目录说明

　　 cd hadoop-2.7.7     #进入Hadoop安装目

　　bin 普通命令目录
　　etc #所有的配置文件
　　include #C语言相关文件
　　lib/native #C语言相关类库
　　libexec #C语言相关类库2
　　logs #日志文件
　　sbin #管理命令目录
　　share #jar包和源码

6.配置六个文件

　　cd  etc/hadoop的目录

　　1. vim hadoop-env.sh

　　　　25行 JAVA_HOME=/opt/software/jdk1.8 #JDK的存放目录

　　　　33行 export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop

　　2.vim core-site.xml #我们在x-site中配置 实际上就是将系统原来的配置给覆盖了

　　　　<configuration>

　　　　　　<property>
　　　　　　　　<name>fs.defaultFS</name>
　　　　　　　　<value>hdfs://主机名:9000</value>
　　　　　　</property>

　　　　　　<property>
　　　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　　　<value>/opt/software/hadoop-2.7.7/tmp</value>
　　　　　　</property>

　　　　</configuration>

　　3.vim hdfs-site.xml

　　　　<configuration>

　　　　　　<property>
　　　　　　　　<name>dfs.replication</name>
　　　　　　　　<value>1</value>
　　　　　　</property>
　　　　</configuration>

　　4.cp mapred-site.xml.template  mapred-site.xml

　　　　vim mapred-site.xml

　　　　<configuration>

　　　　　　<property>
　　　　　　　　<name>mapreduce.framework.name</name>
　　　　　　　　<value>yarn</value>
　　　　　　</property>
　　　　</configuration>

　　5.vim yarm-site.xml

　　　　<configuration>

　　　　　　<!-- Site specific YARN configuration properties -->
　　　　　　<property>
　　　　　　　　<name>yarn.resourcemanager.hostname</name>
　　　　　　　　<value>主机名</value>
　　　　　　</property>

　　　　　　<property>
　　　　　　　　<name>yarn.nodemanager.aux-services</name>
　　　　　　　　<value>mapreduce_shuffle</value>
　　　　　　</property>

　　　　</configuration>

　　6.vim slaves

　　　　加入 主机名

　　vim /etc/hosts

　　 加入  ip地址 主机名

7.配置一下环境变量

　　vim /etc/profile

　　JAVA_HOME=/opt/software/jdk1.8
　　CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
　　HADOOP_HOME=/opt/software/hadoop-2.7.7
　　PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
　　source /etc/profile

8.配置一个免密

　　ssh-keygen #生成公钥

　　ssh-copy-id 主机名

9.格式化文件系统

　　 hadoop namenode -format

　　如果看到 has been successfully formatted. 则成功

10.运行服务器

　　start-all.sh  开启

　　stop-all.sh  关闭