Hadoop完全分布式搭建 --- XML配置文件

Posted 2020-10-13 雨御殇

<!-- 指定namenode的所在主机 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://linux.centos.two:8020</value>
    </property>

    <!-- 指定Hadoop临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/modules/hadoop-2.5.0/data</value>
    </property>

core-site.xml

<!-- 分布式副本数设置为3 -->
    <property>
        <name>dfs.replication</name>
        <value>4</value>
    </property>
    
    <!-- secondarynamenode所在主机名 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>linux.centos.three:50090</value>
    </property>
    
    <!-- namenode的web访问主机名:端口号，这个地方的主机必须是和namenode是同一台机器 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>linux.centos.two:50070</value>
    </property>
    
    <!-- 关闭权限检查用户或用户组 -->
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>

hdfs-site.xml

<!-- 指定MapReduce基于yarn来运行 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    
    <!-- mapreduce 的 jobhistoryserver 主机地址及端口号 这是Hadoop之间的联系使用 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>linux.centos.two:10020</value>
    </property>
    
    <!--指定 jobhistory 服务的web访问的主机及RPC端口号 这个是WEB访问的端口服务-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>linux.centos.two:19888</value>
    </property>

mapred-site.xml

<!--指定哪个节点作为resourcemanager-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>linux.centos.four</value>
    </property>
    
    <!--在mapreducer过程中启用shuffle-->
    <!-- 
        NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序
        指明在执行MapReduce的时候使用shuffle
    -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <!--启用日志聚合-->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    
    <!-- 设置日志的保存时间，按照秒来计算 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>86400</value>
    </property>

yarn-site.xml