Hadoop的伪分布式安装和部署的流程

Posted 2021-03-08 羊想蓝天

1、准备工作

下载一些用到的命令

yum install -y vim 
yum install -y lrzsz 
yum install net-tools

目录约定

/opt            #工作目录
/opt/install    #安装包
/opt/softwar    #软件包
/opt/other      #其它
/opt/test       #测试

cd /opt
mkdir install software other test       #新建目录

JDK安装

cd /opt/install     #进入安装包目录
?
rz jdk-8u221-linux-x64.tar.gz   #上传JDK
?
tar -zxvf jdk-8u221-linux-x64.tar.gz  #解压JDK
?
mv jdk1.8.0_221 jdk1.8      #改名为JDK1.8
?
mv jdk1.8 ../software   #移动到/opt/software目录
?

配置jdk环境变量

vim /etc/profile      #编辑环境变量
?
JAVA_HOME=/opt/software/jdk1.8           #添加JAVA_HOME变量 
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
?
source /etc/profile   #生效配置

修改主机名

vim /etc/hostname   #编辑主机名
?
hdp01  #主机名以hdp01为例

修改主机映射

vim /etc/hosts    #编辑主机映射
?
192.168.0.32  hdp01     #主机的ip对应主机名 

配置免密登录

ssh-keygen      #生成公钥
?
ssh-copy-id hdp01  #设置自己为免密登录

2、下载安装伪分布式

hadoop安装

cd /opt/install        #进入安装包目录

rz hadoop-2.7.7.tar.gz    #上传hadoop

tar -zxvf hadoop-2.7.7.tar.gz  #解压hadoop

mv hadoop-2.7.7 ../software    #移动到/opt/software目录

修改hadoop的6个配置文件

cd /opt/software/hadoop-2.7.7/etc/hadoop    #进入配置文件目录

hadoop-env.sh

vim hadoop-env.sh        #编辑配置文件hadoop-env.sh

export JAVA_HOME=/opt/software/jdk1.8  #修改25行

export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop  #修改33行

core-site.xml

vim    core-site.xml         #编辑配置文件core-site.xml

<configuration>
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hdp01:9000</value>  #hdp01为 主机名
    </property>
    
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/software/hadoop-2.7.7/tmp</value>
    </property>

</configuration>

hdfs-site.xml

vim    hdfs-site.xml         #编辑配置文件hdfs-site.xml

<configuration>
       <property>
         <name>dfs.replication</name>
         <value>1</value>
        </property>
</configuration>        

mapred-site.xml

cp mapred-site.xml.template  mapred-site.xml    #拷贝例子
vim mapred-site.xml         #编辑配置文件mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

vim yarn-site.xml         #编辑配置文件yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hdp01</value>                            #hdp01为主机名
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

slaves

vim slaves         #编辑配置文件slaves

hdp01        #主机名

配置hadoop的环境变量

vim /etc/profile        #编辑环境变量

JAVA_HOME=/opt/software/jdk1.8
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
HADOOP_HOME=/opt/software/hadoop-2.7.7
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

source /etc/profile        #生效配置

格式化文件系统

hadoop namenode -format

运行服务器

start-all.sh  #开启
stop-all.sh  #关闭

查看系统端口

netstat -nltup