4、Hadoop-HDFS部署步骤（1.X）

Posted 2023-03-18

参考技术A         · 依赖软件ssh、jdk

        · 环境的配置

                Java_Home

                免密钥

        · 时间同步

         ·  hosts、hostname

        ·  /opt/sxt/

        ·  配置文件新修改

                Java_Home

         ·  角色在哪里启动

           部署参考步骤（请点击此处）

    （1）设置ssh免密钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

此时可检验是否设置成功，尝试免密登录本机，如下

    （2）安装jdk 

首先利用xftp将安装包导入，再解压安装

解压后，java所在目录位置如下   /usr/java

配置环境变量，打开  vi  /etc/profile    追加下面两行

保存退出后，是设置系统配置，linux下使用source /etc/profile保存配置后，新的环境变量只能在一个终端里面有效。

（3）hadoop部署

利用xftp将hadoop-2.6.5.tar.gz包上传，解压安装

新建目录存放hadoop

配置hadoop环境变量，增加如下两行

进入如下目录修改hadoop-env.sh等配置文件，首先修改hadoop-env.sh文件，改后如下

其次、修改mapred-env.sh，/usr/java/jdk1.8.0_261-amd64

修改yarn-env.sh

其次修改etc/hadoop下的core-site.xml和hdfs-site.xml,使主节点位置可知

```

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://node01:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/var/sxt/hadoop/local</value>

    </property>

</configuration>

```

```

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>node01:50090</value>

    </property>

</configuration>

```

配置slaves文件，使DataNode可知，修改如下，如以后还有namenode，可添加

随后格式化 hdfs namenode -format   显示successfully则配置成功

启动，如报错，在查看下方日志文件排错

访问node01：50070   如下所示，成功！

计划：node01 ： NameNode

           node02 ： SecondaryNode    DataNode

          node03 node04 ： DataNode

（1）安装jdk，配置环境变量，设置ssh免密钥（将node01d1ssh的id_dsa.pub写到其他三个节点）

此时查看node02中.ssh下目录

或者直接将node01的authorized_keys追加到node02的.ssh下，如下所示，此时node01可以免密登录node02

之后node03和node04依次执行图3-1和图3-2的命令。校准四个系统时间

修改node01的core-site.xml

进入node01的sxt目录将hadoop-2.6.5拷贝到node02（03、04都要执行相同步骤）的同目录下（node02下的opt/sxt）

经过以上步骤配置完成，再从node01进行格式化

hdfs namenode -format