centos7安装hadoop2.7.7

Posted 2020-12-01 lick

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了centos7安装hadoop2.7.7相关的知识，希望对你有一定的参考价值。

下载hadoop-2.7.7 网址如下

https://www-eu.apache.org/dist/hadoop/core/

移动到/opt 路径下

在/opt下新建一个文件夹，名为app `mkdir app`

将/opt 下的hadoop-2.7.7.tar.gz 解压到/opt/app 下

tar -xzvf hadoop-2.7.7.tar.gz -C /opt/app

修改环境变量 `vi /etc/profile`

export HADOOP_HOME=/usr/app/hadoop-2.7.7
export PATH =$HADOOP_HOME/bin:$PATH

刷新环境变量 `source /etc/profile`

查看hadoop版本信息 `hadoop version`

配置hadoop-env.sh文件，修改JAVA_HOME,修改成jdk的安装路径位置 `cd /usr/app/hadoop-2.7.7/etc/hadoop`

vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_231

修改 core-site.xml `vi core-site.xml` 添加如下配置

<property>
    <name>fs.defaultFS</name>
    <!-- 这里填的是你自己的ip，端口默认-->
    <value>hdfs://49.235.89.98:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <!-- 这里填的是你自定义的hadoop工作的目录，端口默认-->
    <value>/opt/app/hadoop-2.7.7/tmp</value>
</property>

<property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.
    </description>
</property>

修改 hdfs-site.xml `vi hdfs-site.xml` 添加如下配置

   <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.secondary.http.address</name>
        <!--这里是你自己的ip，端口默认-->
        <value>49.235.89.98:50090</value>
    </property>

复制默认的`cp mapred-site.xml.template ./mapred-site.xml` 配置命名为mapred-site.xml

修改 mapred-site.xml `vi mapred-site.xml` 添加如下配置

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

修改 yarn-site.xml `vi yarn-site.xml` 添加如下配置

<property>
    <name>yarn.resourcemanager.hostname</name>
    <!-- 自己的ip端口默认 -->
    <value>49.235.89.98</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>